每經(jīng)記者 楊卉 每經(jīng)編輯 魏官紅
6月19日，《每日經(jīng)濟(jì)新聞》記者從中國(guó)電信(5.760, 0.06, 1.05%)處獲悉，近日，中國(guó)電信人工智能研究院（TeleAI）聯(lián)合北京智源人工智能研究院發(fā)布了全球首個(gè)單體稠密萬(wàn)億參數(shù)語(yǔ)義模型Tele-FLM-1T，成為國(guó)內(nèi)首批發(fā)布稠密萬(wàn)億參數(shù)大模型的機(jī)構(gòu)。
《每日經(jīng)濟(jì)新聞》記者了解到，針對(duì)大模型訓(xùn)練算力消耗高的問(wèn)題，TeleAI與智源基于模型生長(zhǎng)和損失預(yù)測(cè)等關(guān)鍵技術(shù)聯(lián)合研發(fā)出的Tele-FLM系列模型，僅使用了業(yè)界普通訓(xùn)練方案9%的算力資源，基于112臺(tái)A800服務(wù)器，用時(shí)4個(gè)月完成了3個(gè)模型總計(jì)2.3T tokens的訓(xùn)練。
中國(guó)電信方面透露，Tele-FLM-1T版本即將開(kāi)源，期望為社區(qū)訓(xùn)練萬(wàn)億稠密模型提供技術(shù)參考，避免萬(wàn)億模型訓(xùn)練收斂難等問(wèn)題。
據(jù)悉，作為最早布局并首先開(kāi)源大模型的央企機(jī)構(gòu)，TeleAI去年發(fā)布了千億參數(shù)“星辰”語(yǔ)義大模型；今年2月，TeleAI自主研發(fā)的星辰大模型首次通過(guò)了“境內(nèi)深度合成服務(wù)算法備案”。今年5月15日，根據(jù)北京市生成式人工智能服務(wù)備案信息公告，星辰大模型再次通過(guò)產(chǎn)品備案�！半p備案”標(biāo)志著星辰大模型可正式對(duì)外提供生成式人工智能服務(wù)。
開(kāi)源方面，TeleAI已接連開(kāi)源7B、12B、52B參數(shù)規(guī)模大模型。隨著TeleChat系列模型的發(fā)布，TeleAI還同步對(duì)多個(gè)大模型落地項(xiàng)目進(jìn)行了能力升級(jí)，如在某市民生訴求場(chǎng)景項(xiàng)目上，通過(guò)引入TeleChat-52B模型能力，整體應(yīng)用效果提升40%。
