3月18日，昆侖萬(wàn)維正式開(kāi)源首款工業(yè)界多模態(tài)思維鏈推理模型Skywork R1V，即日起開(kāi)源模型權(quán)重和技術(shù)報(bào)告。
開(kāi)啟多模態(tài)思考新時(shí)代
繼OpenAI o1和DeepSeek-R1在全球掀起長(zhǎng)思考模型熱潮后，大模型進(jìn)入新技術(shù)范式。昆侖萬(wàn)維秉持實(shí)現(xiàn) AGI 的初心，積極貢獻(xiàn)開(kāi)源社區(qū)，正式開(kāi)源Skywork R1V多模態(tài)視覺(jué)推理模型，成為中國(guó)第一個(gè)開(kāi)源「多模態(tài)推理模型」的企業(yè)。
什么是視覺(jué)推理模型？
視覺(jué)推理模型是一類(lèi)能夠解決需要思維鏈（Chain-of-Thought）的視覺(jué)任務(wù)的模型，通過(guò)對(duì)視覺(jué)信息進(jìn)行多步邏輯推理與分析，逐步推導(dǎo)出最終結(jié)果。這種模型不僅關(guān)注圖像內(nèi)容的識(shí)別與理解，更強(qiáng)調(diào)通過(guò)層層遞進(jìn)的推理路徑，實(shí)現(xiàn)復(fù)雜視覺(jué)問(wèn)題的精準(zhǔn)求解，例如視覺(jué)邏輯推理、視覺(jué)數(shù)學(xué)問(wèn)題、圖像中的科學(xué)現(xiàn)象分析、醫(yī)學(xué)影像的診斷推理等，從而有效拓展了視覺(jué)大模型的應(yīng)用邊界。
無(wú)論是日常繁瑣的工作任務(wù)、復(fù)雜的數(shù)據(jù)分析、難以解答的學(xué)術(shù)問(wèn)題，還是前所未見(jiàn)的陌生場(chǎng)景，都可以交給Skywork R1V進(jìn)行高效處理。
快速體驗(yàn)下來(lái)，R1V的視覺(jué)理解和推理能力雙雙在線。這樣的模型能力是如何煉成的呢？
強(qiáng)大推理能力，刷新跨模態(tài)任務(wù)新高度
在Reasoning推理能力方面，Skywork R1V實(shí)現(xiàn)了模型的頂尖邏輯推理與數(shù)學(xué)分析能力。在權(quán)威的MATH500和AIME基準(zhǔn)測(cè)試中，Skywork R1V分別取得了94.0和72.0的高分，明顯領(lǐng)先于行業(yè)內(nèi)眾多主流模型。Skywork R1V在純文本復(fù)雜推理任務(wù)中展現(xiàn)出卓越性能，使其在邏輯推理和數(shù)學(xué)問(wèn)題求解領(lǐng)域展現(xiàn)出人類(lèi)專(zhuān)家級(jí)別的水準(zhǔn)。
在Vision視覺(jué)理解能力方面，Skywork R1V成功地將其強(qiáng)大的文本推理與思維鏈推導(dǎo)能力高效遷移到視覺(jué)任務(wù)中。憑借創(chuàng)新的跨模態(tài)遷移技術(shù)與推理優(yōu)化框架，Skywork R1V能夠高效解決需要多步視覺(jué)推理的問(wèn)題，在MMMU與MathVista等視覺(jué)推理基準(zhǔn)中分別取得了69和67.5的優(yōu)異成績(jī)。這些結(jié)果不僅明顯超越了多個(gè)近似大小的開(kāi)源競(jìng)爭(zhēng)模型，更達(dá)到與規(guī)模更大的閉源模型媲美的水準(zhǔn)，充分證實(shí)了Skywork R1V在需要視覺(jué)思維鏈推理的跨模態(tài)任務(wù)中的領(lǐng)先優(yōu)勢(shì)。
Skywork R1V通過(guò)視覺(jué)與文本能力的深度融合和視覺(jué)思維鏈推理能力的突破，推動(dòng)了多模態(tài)推理模型的進(jìn)一步發(fā)展，標(biāo)志著人工智能領(lǐng)域的又一重大進(jìn)步。
目前，Skywork R1V已全面開(kāi)源，期望助力全球范圍內(nèi)更多視覺(jué)推理任務(wù)的學(xué)術(shù)研究與產(chǎn)業(yè)應(yīng)用探索。
和開(kāi)源同規(guī)模或更大規(guī)模模型的對(duì)比，Skywork R1V 38B體現(xiàn)出行業(yè)顯著優(yōu)異的推理能力，以及領(lǐng)先的多模態(tài)視覺(jué)理解能力。如下圖，與開(kāi)源同規(guī)?；蚋笠?guī)模模型的對(duì)比：
與閉源頭部模型性能對(duì)比，R1V 38B模型性能媲美甚至超越更大開(kāi)源模型以及主流閉源模型。如下圖，與開(kāi)源大尺寸模型與閉源專(zhuān)有模型的對(duì)比：
三大核心技術(shù)創(chuàng)新，引領(lǐng)視覺(jué)推理新突破
Skywork R1V能夠達(dá)到當(dāng)前的性能高度，依賴(lài)于以下三項(xiàng)關(guān)鍵技術(shù)創(chuàng)新：
1、文本推理能力的多模態(tài)高效遷移
昆侖萬(wàn)維團(tuán)隊(duì)首次提出利用Skywork-VL的視覺(jué)投影器，無(wú)需重新訓(xùn)練語(yǔ)言模型和視覺(jué)編碼器，即可實(shí)現(xiàn)文本推理能力的高效遷移到視覺(jué)任務(wù)，同時(shí)保留了優(yōu)秀的原本推理文本能力（AIME 72.0，MATH500 94.0）。
2、多模態(tài)混合式訓(xùn)練（IterativeSFT+GRPO）
通過(guò)結(jié)合迭代監(jiān)督微調(diào)（Iterative SFT）和GRPO強(qiáng)化學(xué)習(xí)，分階段對(duì)齊視覺(jué)-文本表征，實(shí)現(xiàn)跨模態(tài)任務(wù)的高效融合，極大提升跨模態(tài)任務(wù)的表現(xiàn)。推動(dòng)模型在MMMU基準(zhǔn)達(dá)到69分的能力，同時(shí)在MathVista達(dá)到67.5分，與更大規(guī)模的閉源模型基本持平。通過(guò)反復(fù)迭代地利用高質(zhì)量數(shù)據(jù)與高難度數(shù)據(jù)的組合，實(shí)現(xiàn)模型持續(xù)的知識(shí)鞏固與錯(cuò)誤糾正，顯著提升了多模態(tài)推理的精度與泛化性能。
圖丨多模態(tài)混合式訓(xùn)練（來(lái)源：Skywork R1V技術(shù)報(bào)告）
3、自適應(yīng)長(zhǎng)度思維鏈蒸餾
團(tuán)隊(duì)提出了一種基于視覺(jué)-文本復(fù)雜度的自適應(yīng)推理鏈長(zhǎng)度控制機(jī)制，動(dòng)態(tài)優(yōu)化模型推理過(guò)程，避免模型“過(guò)度思考”，提升推理效率。結(jié)合多階段自蒸餾策略，進(jìn)一步提升了數(shù)據(jù)生成與推理過(guò)程的質(zhì)量，促進(jìn)了模型在復(fù)雜多模態(tài)任務(wù)中的表現(xiàn)。
圖丨自適應(yīng)長(zhǎng)度思維鏈蒸餾（來(lái)源：Skywork R1V技術(shù)報(bào)告）
Skywork R1V在訓(xùn)練過(guò)程中創(chuàng)新性地采用了三階段方法，使得文本端強(qiáng)大的推理能力得以高效遷移至視覺(jué)任務(wù)上，具體訓(xùn)練流程如下：
1、STEP1 視覺(jué)語(yǔ)言表征的初始對(duì)齊
訓(xùn)練時(shí)首先使用輕量級(jí)的視覺(jué)適配器（MLP）連接視覺(jué)編碼器（ViT）與語(yǔ)言模型，在已有的200萬(wàn)條常規(guī)多模態(tài)數(shù)據(jù)上進(jìn)行訓(xùn)練，使得MLP初步學(xué)習(xí)如何將圖像特征映射至語(yǔ)言空間。這一階段僅訓(xùn)練MLP適配器，視覺(jué)編碼器和語(yǔ)言模型參數(shù)保持凍結(jié)不變，快速、高效地實(shí)現(xiàn)視覺(jué)與語(yǔ)言表征的初步對(duì)齊。
2、STEP2 推理能力遷移
利用第一階段訓(xùn)練好的MLP適配器，直接將視覺(jué)編碼器與原始的強(qiáng)推理語(yǔ)言模型（R1-distilled-Qwen-32B）連接，形成Skywork-R1V視覺(jué)推理模型。雖然此時(shí)語(yǔ)言模型的參數(shù)發(fā)生了改變，但得益于語(yǔ)言模型架構(gòu)的高度相似性和MLP的泛化能力，重新組裝后的模型已能表現(xiàn)出一定的視覺(jué)推理能力，初始性能即達(dá)到業(yè)內(nèi)同等規(guī)模的先進(jìn)水平。
3、STEP3 視覺(jué)與文本模態(tài)精準(zhǔn)對(duì)齊
最后，采用創(chuàng)新的“混合優(yōu)化框架”，進(jìn)一步精準(zhǔn)對(duì)齊視覺(jué)和語(yǔ)言模態(tài)的表征。這一階段分為兩大步驟：迭代監(jiān)督微調(diào)（Iterative SFT）和群組相對(duì)策略?xún)?yōu)化（GRPO）強(qiáng)化學(xué)習(xí)。在整個(gè)訓(xùn)練過(guò)程中，Skywork-R1V還創(chuàng)新性地引入了“自適應(yīng)長(zhǎng)度思維鏈蒸餾技術(shù)”，動(dòng)態(tài)優(yōu)化推理鏈長(zhǎng)度，防止模型過(guò)度思考，從而提升了推理效率和質(zhì)量。
通過(guò)以上的訓(xùn)練策略，Skywork R1V在視覺(jué)推理任務(wù)上取得突破性進(jìn)展，并在多個(gè)公開(kāi)評(píng)測(cè)基準(zhǔn)中達(dá)到或超過(guò)了現(xiàn)有領(lǐng)先模型的性能。
此外，Skywork團(tuán)隊(duì)多模態(tài)理解模型也在進(jìn)行"全面貫通"的進(jìn)化，將視覺(jué)多模態(tài)擴(kuò)展為全模態(tài)模型，引入語(yǔ)音理解能力。當(dāng)前，全模態(tài)模型往往受限于特定領(lǐng)域不僅需要獨(dú)立訓(xùn)練多個(gè)專(zhuān)業(yè)模型，更面臨跨模態(tài)協(xié)同的算力挑戰(zhàn)。
基于R1V模型，Skywork團(tuán)隊(duì)設(shè)計(jì)了一種靈活在R1V中擴(kuò)展語(yǔ)音理解模態(tài)的方式，從而實(shí)現(xiàn)一個(gè)全模態(tài)思考大模型，該在單個(gè)模型中同時(shí)實(shí)現(xiàn)圖像、視頻、語(yǔ)音的全模態(tài)理解能力，并在語(yǔ)音和視覺(jué)理解評(píng)測(cè)中斬獲多項(xiàng)SOTA成績(jī)。我們將陸續(xù)公布測(cè)評(píng)成績(jī)、開(kāi)源全模態(tài)思考大模型。
持續(xù)開(kāi)源回饋社區(qū)，堅(jiān)定邁向AGI
2023年10月以來(lái)，昆侖萬(wàn)維陸續(xù)開(kāi)源了百億級(jí)大語(yǔ)言模型「天工」Skywork-13B系列、數(shù)字智能體全流程研發(fā)工具包AgentStudio、4000億參數(shù)MoE超級(jí)模型、2千億稀疏大模型Skywork-MoE、推理模型Skywork-o1-Open等。2025年2月18日，昆侖萬(wàn)維同時(shí)將SOTA級(jí)別的SkyReels-V1和SkyReels-A1進(jìn)行開(kāi)源。
在語(yǔ)言生成模型、AI Agent、推理模型、視頻生成模型等相繼開(kāi)源、多點(diǎn)開(kāi)花之后，我們正式開(kāi)源Skywork R1V多模態(tài)推理模型，在文本-視覺(jué)多模態(tài)推理方向再下一城，成為中國(guó)第一家開(kāi)源多模態(tài)思考模型的企業(yè)。
中國(guó)企業(yè)過(guò)去一年在AI領(lǐng)域的開(kāi)源貢獻(xiàn)，讓全世界AI從業(yè)者和開(kāi)發(fā)者享受到了技術(shù)共享帶來(lái)的普惠發(fā)展。DeepSeek的開(kāi)源為AI行業(yè)提供了新的發(fā)展范本，多項(xiàng)開(kāi)源成果顯著降低了AI技術(shù)的應(yīng)用門(mén)檻、促進(jìn)全球AI技術(shù)的民主化。昆侖萬(wàn)維作為中國(guó)AI領(lǐng)軍企業(yè)，我們將持續(xù)開(kāi)源優(yōu)秀的模型、數(shù)據(jù)集等，共建開(kāi)發(fā)者生態(tài)、加速技術(shù)創(chuàng)新、降低應(yīng)用門(mén)檻、推動(dòng)技術(shù)平權(quán)和AI行業(yè)發(fā)展。
此文內(nèi)容為企業(yè)供稿，僅供參考。
本文鏈接：http://jphkf.cn/news-14-7857-0.html昆侖萬(wàn)維開(kāi)源R1V視覺(jué)思維鏈推理模型，開(kāi)啟多模態(tài)思考新時(shí)代
聲明：本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
點(diǎn)擊右上角
微信好友
朋友圈
點(diǎn)擊瀏覽器下方“
”分享微信好友Safari瀏覽器請(qǐng)點(diǎn)擊“
”按鈕
點(diǎn)擊右上角
QQ
點(diǎn)擊瀏覽器下方“”分享QQ好友Safari瀏覽器請(qǐng)點(diǎn)擊“”按鈕
