4月28日消息,通義千問開源1100億參數(shù)模型Qwen1.5-110B,成為全系列首個(gè)千億級(jí)參數(shù)開源模型。通義千問1100億參數(shù)模型延續(xù)了Qwen1.5系列的Transformer解碼器架構(gòu),采用了分組查詢注意力方法(GQA),使得模型在推理時(shí)更加高效。110B模型支持32K上下文長度,具備優(yōu)秀的多語言能力,支持中、英、法、德、西、俄、日、韓、越、阿拉伯等多種語言。(鈦媒體App)
4月28日消息,通義千問開源1100億參數(shù)模型Qwen1.5-110B,成為全系列首個(gè)千億級(jí)參數(shù)開源模型。通義千問1100億參數(shù)模型延續(xù)了Qwen1.5系列的Transformer解碼器架構(gòu),采用了分組查詢注意力方法(GQA),使得模型在推理時(shí)更加高效。110B模型支持32K上下文長度,具備優(yōu)秀的多語言能力,支持中、英、法、德、西、俄、日、韓、越、阿拉伯等多種語言。(鈦媒體App)