6月9日消息,小紅書近日開源了首個大模型——dots.llm1。
dots.llm1是一個中等規(guī)模的Mixture of Experts(MoE)文本大模型,由小紅書 hi lab(Humane Intelligence Lab,人文智能實驗室)團(tuán)隊研發(fā),總參數(shù)量 142B,激活參數(shù) 14B。
具體來說,在激活14B參數(shù)的情況下,dots.llm.inst模型在中英文通用場景、數(shù)學(xué)、代碼、對齊任務(wù)上的表現(xiàn)亮眼,與 Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct相比具備較強的競爭力。同時與Qwen3-32B相比,在中英文、數(shù)學(xué)、對齊任務(wù)上表現(xiàn)接近。
圖源:小紅書
此外,dots.llm1最大特色是使用了11.2萬億token的非合成高質(zhì)量訓(xùn)練數(shù)據(jù),這在現(xiàn)階段的開源大模型中非常罕見。
今年以來,小紅書在AI、大模型方面的動作頻頻。年初,小紅書內(nèi)部大模型技術(shù)與應(yīng)用產(chǎn)品團(tuán)隊升級為hi lab,并啟動了“人文訓(xùn)練師”的招聘,邀請有深厚人文背景的研究者加入到對AI的訓(xùn)練中,將人類更全面的智慧和價值感注入AI,最終讓AI成為人類有益的伙伴。
5月27日,小紅書hi lab與復(fù)旦大學(xué)哲學(xué)學(xué)院共同成立“AI人文人才訓(xùn)練營”,展開AI后訓(xùn)練相關(guān)的人文課題共創(chuàng),培養(yǎng)“AI+人文”復(fù)合型人才。大模型的訓(xùn)練通常分為預(yù)訓(xùn)練(pre-train)和后訓(xùn)練(post-train)兩個階段。人文訓(xùn)練就屬于后訓(xùn)練的一部分,對AI在人性化表達(dá)、人類價值對齊等方面的表現(xiàn)起到關(guān)鍵作用。
圖源:小紅書
本文鏈接:http://jphkf.cn/news-12-34324-0.html小紅書首次開源文本大模型
聲明:本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn),不代表本站觀點,本站不承擔(dān)任何法律責(zé)任。天上不會到餡餅,請大家謹(jǐn)防詐騙!若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。
上一篇:京東工業(yè)與音飛儲存達(dá)成戰(zhàn)略合作
下一篇:淘寶開始用火箭送快遞
點擊右上角微信好友
朋友圈
點擊瀏覽器下方“”分享微信好友Safari瀏覽器請點擊“
”按鈕
點擊右上角QQ
點擊瀏覽器下方“”分享QQ好友Safari瀏覽器請點擊“
”按鈕