6月9日消息，小紅書近日開源了首個(gè)大模型——dots.llm1。ry6即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

dots.llm1是一個(gè)中等規(guī)模的Mixture of Experts（MoE）文本大模型，由小紅書 hi lab（Humane Intelligence Lab，人文智能實(shí)驗(yàn)室）團(tuán)隊(duì)研發(fā)，總參數(shù)量 142B，激活參數(shù) 14B。ry6即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

具體來說，在激活14B參數(shù)的情況下，dots.llm.inst模型在中英文通用場(chǎng)景、數(shù)學(xué)、代碼、對(duì)齊任務(wù)上的表現(xiàn)亮眼，與 Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct相比具備較強(qiáng)的競(jìng)爭(zhēng)力。同時(shí)與Qwen3-32B相比，在中英文、數(shù)學(xué)、對(duì)齊任務(wù)上表現(xiàn)接近。ry6即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

圖源：小紅書ry6即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

此外，dots.llm1最大特色是使用了11.2萬億token的非合成高質(zhì)量訓(xùn)練數(shù)據(jù)，這在現(xiàn)階段的開源大模型中非常罕見。ry6即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

今年以來，小紅書在AI、大模型方面的動(dòng)作頻頻。年初，小紅書內(nèi)部大模型技術(shù)與應(yīng)用產(chǎn)品團(tuán)隊(duì)升級(jí)為hi lab，并啟動(dòng)了“人文訓(xùn)練師”的招聘，邀請(qǐng)有深厚人文背景的研究者加入到對(duì)AI的訓(xùn)練中，將人類更全面的智慧和價(jià)值感注入AI，最終讓AI成為人類有益的伙伴。ry6即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

5月27日，小紅書hi lab與復(fù)旦大學(xué)哲學(xué)學(xué)院共同成立“AI人文人才訓(xùn)練營(yíng)”，展開AI后訓(xùn)練相關(guān)的人文課題共創(chuàng)，培養(yǎng)“AI+人文”復(fù)合型人才。大模型的訓(xùn)練通常分為預(yù)訓(xùn)練（pre-train）和后訓(xùn)練（post-train）兩個(gè)階段。人文訓(xùn)練就屬于后訓(xùn)練的一部分，對(duì)AI在人性化表達(dá)、人類價(jià)值對(duì)齊等方面的表現(xiàn)起到關(guān)鍵作用。ry6即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

圖源：小紅書ry6即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com