tubesex18 video,国产亚洲婷婷香蕉久久精品 ,九九99久久精品综合,国产精品99久久不卡,久久精品免视看国产成人

解決傳統(tǒng)架構(gòu)記憶瓶頸 MiniMax發(fā)布新一代模型

5個(gè)月前 來(lái)源:新京報(bào) 觀看:106

1月15日,“AI六小虎”之一的MiniMax發(fā)布并開(kāi)源了新一代01系列模型,包含基礎(chǔ)語(yǔ)言大模型MiniMax-Text-01和視覺(jué)多模態(tài)大模型MiniMax-VL-01。該系列模型使用多項(xiàng)突破性創(chuàng)新,以大規(guī)模應(yīng)用線性注意力機(jī)制打破了Transformer傳統(tǒng)架構(gòu)的記憶瓶頸。rgF即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

未來(lái),AI智能體有望成為最重要的產(chǎn)品形態(tài),由于智能體處理的任務(wù)變得越來(lái)越復(fù)雜,涉及的數(shù)據(jù)量也越來(lái)越大,單個(gè)智能體的記憶以及多個(gè)智能體協(xié)作間的上下文都會(huì)變得越來(lái)越長(zhǎng)。因此,長(zhǎng)上下文能力與多模態(tài)處理能力的提升至關(guān)重要。rgF即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

技術(shù)上,MiniMax-01系列模型首次將線性注意力機(jī)制擴(kuò)展到商用模型的級(jí)別,受益于此次架構(gòu)創(chuàng)新,該系列模型在處理長(zhǎng)輸入的時(shí)候具有非常高的效率,接近線性復(fù)雜度。從規(guī)模效應(yīng)、結(jié)構(gòu)設(shè)計(jì)、訓(xùn)練優(yōu)化和推理優(yōu)化等層面綜合考慮,MiniMax選擇模型參數(shù)量為4560億,其中每次激活459億,能夠高效處理400萬(wàn)token的上下文,將有效替代Transformer傳統(tǒng)架構(gòu)并開(kāi)啟超長(zhǎng)文本輸入時(shí)代。相較于Gemini等一眾全球頂級(jí)模型,MiniMax-01隨著輸入長(zhǎng)度變長(zhǎng),性能衰減最慢。rgF即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

值得注意的是,MiniMax還開(kāi)源了Text-01模型、VL-01模型的完整權(quán)重,以便于更多開(kāi)發(fā)者做有價(jià)值、突破性的研究。MiniMax方面表示,“我們認(rèn)為這有可能啟發(fā)更多長(zhǎng)上下文的研究和應(yīng)用,從而更快促進(jìn)Agent時(shí)代的到來(lái),二是開(kāi)源也能促使我們努力做更多創(chuàng)新,更高質(zhì)量地開(kāi)展后續(xù)的模型研發(fā)工作。”rgF即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

1月15日,“AI六小虎”之一的MiniMax發(fā)布并開(kāi)源了新一代01系列模型,包含基礎(chǔ)語(yǔ)言大模型MiniMax-Text-01和視覺(jué)多模態(tài)大模型MiniMax-VL-01。該系列模型使用多項(xiàng)突破性創(chuàng)新,以大規(guī)模應(yīng)用線性注意力機(jī)制打破了Transformer傳統(tǒng)架構(gòu)的記憶瓶頸。rgF即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

未來(lái),AI智能體有望成為最重要的產(chǎn)品形態(tài),由于智能體處理的任務(wù)變得越來(lái)越復(fù)雜,涉及的數(shù)據(jù)量也越來(lái)越大,單個(gè)智能體的記憶以及多個(gè)智能體協(xié)作間的上下文都會(huì)變得越來(lái)越長(zhǎng)。因此,長(zhǎng)上下文能力與多模態(tài)處理能力的提升至關(guān)重要。rgF即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

技術(shù)上,MiniMax-01系列模型首次將線性注意力機(jī)制擴(kuò)展到商用模型的級(jí)別,受益于此次架構(gòu)創(chuàng)新,該系列模型在處理長(zhǎng)輸入的時(shí)候具有非常高的效率,接近線性復(fù)雜度。從規(guī)模效應(yīng)、結(jié)構(gòu)設(shè)計(jì)、訓(xùn)練優(yōu)化和推理優(yōu)化等層面綜合考慮,MiniMax選擇模型參數(shù)量為4560億,其中每次激活459億,能夠高效處理400萬(wàn)token的上下文,將有效替代Transformer傳統(tǒng)架構(gòu)并開(kāi)啟超長(zhǎng)文本輸入時(shí)代。相較于Gemini等一眾全球頂級(jí)模型,MiniMax-01隨著輸入長(zhǎng)度變長(zhǎng),性能衰減最慢。rgF即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

值得注意的是,MiniMax還開(kāi)源了Text-01模型、VL-01模型的完整權(quán)重,以便于更多開(kāi)發(fā)者做有價(jià)值、突破性的研究。MiniMax方面表示,“我們認(rèn)為這有可能啟發(fā)更多長(zhǎng)上下文的研究和應(yīng)用,從而更快促進(jìn)Agent時(shí)代的到來(lái),二是開(kāi)源也能促使我們努力做更多創(chuàng)新,更高質(zhì)量地開(kāi)展后續(xù)的模型研發(fā)工作。”rgF即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

本文鏈接:http://jphkf.cn/news-2-195-0.html解決傳統(tǒng)架構(gòu)記憶瓶頸 MiniMax發(fā)布新一代模型

聲明:本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn),不代表本站觀點(diǎn),本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅,請(qǐng)大家謹(jǐn)防詐騙!若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。

上一篇:深瞳丨AI為藥物研發(fā)按下“快進(jìn)鍵”

下一篇:絲巾變色、火柴變玫瑰 年貨節(jié)期間淘寶魔術(shù)道具銷(xiāo)量大增174%

為你推薦
荷蘭特文特大學(xué)科學(xué)家開(kāi)發(fā)出一種新工藝,能在室溫下制造出晶體結(jié)構(gòu)高度有序的半導(dǎo)體材料。他們表示,通過(guò)精準(zhǔn)控制這種半導(dǎo)體材料的晶體結(jié)構(gòu),大幅降低了...
01-21
AI智能體,或?qū)⒊蔀?025年的關(guān)鍵詞之一,國(guó)內(nèi)外廠商激戰(zhàn)正酣,探索其能為千行百業(yè)帶來(lái)的變化。但對(duì)數(shù)據(jù)安全的憂慮也浮出水面。有多少交互的工作內(nèi)容會(huì)上...
01-21
  “感覺(jué)空氣中都彌漫著節(jié)日的氣息”“下班時(shí)候經(jīng)過(guò),真驚艷到了”……連日來(lái),不少市民驚喜地發(fā)現(xiàn),和平區(qū)...
01-22
  春節(jié)將至,為切實(shí)做好新就業(yè)群體的服務(wù)保障工作,向廣大新就業(yè)群體傳遞黨和政府的關(guān)懷與溫暖,連日來(lái),全省...
01-22
新華社北京1月21日電(記者張辛欣、張曉潔)工業(yè)和信息化部副部長(zhǎng)張?jiān)泼髟?1日國(guó)新辦舉行的“中國(guó)經(jīng)濟(jì)高質(zhì)量發(fā)展成效”系列新聞發(fā)布會(huì)上表示,我國(guó)已有570多家工業(yè)企業(yè)入圍全球研...
01-22
  海報(bào)新聞?dòng)浾?田陽(yáng) 報(bào)道  “駁回上訴,維持原判?!?月21日,王浩文拐賣(mài)兒童案二審宣判。該案中被人熟知的“雷公”雷武澤通過(guò)朋友拿到了法院的判決結(jié)果?!袄坠备嬖V...
01-22
1 月 24 日消息,奧迪(Audi)昨日(1 月 23 日)在 Facebook 上發(fā)布動(dòng)態(tài),展示了一款基于 Q6 Sportback e-tron 打造的越野概念車(chē)。這款概念車(chē)外觀炫酷,配備了門(mén)式車(chē)橋和巨大的...
01-25
1 月 26 日消息,吉利汽車(chē)集團(tuán)甲醇汽車(chē)業(yè)務(wù)中心總經(jīng)理陸玉凱透露,吉利今年推出兩款醇電混動(dòng)車(chē)型,即吉利全新一代“醇?xì)潆娀臁鞭I車(chē)和 SUV 車(chē)型,相關(guān)車(chē)型顧名思義,就是能夠...
01-27
  1、《難哄》溫以凡之所以拒絕桑延,是因?yàn)樗?jīng)歷了太多不幸的事情,在大伯家還遭到他人猥褻欺負(fù),她在面對(duì)桑延時(shí)不再自信?! ?、一系列不幸和痛苦的事情的發(fā)生,不僅讓溫以...
02-17
柏林國(guó)際電影節(jié)閉幕,《植物學(xué)家》榮獲新生代Kplus單元大獎(jiǎng)在萬(wàn)眾矚目的柏林國(guó)際電影節(jié)上,一部來(lái)自中國(guó)的電影力作脫穎而出,成為全場(chǎng)焦點(diǎn)。日前,該電影節(jié)正式落下帷幕,并揭曉了各...
02-23
  近日公布的新版醫(yī)保藥品目錄新增91種藥品,目錄內(nèi)藥品總數(shù)增至3159種,參保人的“藥籃子”再次升級(jí)。醫(yī)保目錄是如何誕生...
01-21
  新華社北京1月7日電(記者徐鵬航)針對(duì)近期有群眾反映用人單位拖欠職工工資和“五險(xiǎn)一金”繳費(fèi),影響其醫(yī)保權(quán)益保障的情況,國(guó)家醫(yī)保局7日公開(kāi)發(fā)布通知,進(jìn)一步加強(qiáng)勞動(dòng)者...
01-21
日前,遼寧省總工會(huì)公布了《關(guān)于2024年遼寧省勞模創(chuàng)新工作室和職工創(chuàng)新工作室有關(guān)事項(xiàng)的通報(bào)》,沈陽(yáng)工業(yè)大...
01-21
1月22日,中國(guó)科學(xué)技術(shù)大學(xué)招生辦公室發(fā)布嚴(yán)正聲明: ? 近期,我辦接到家...
01-23
  1月15日,曲靖金融監(jiān)管分局行政處罰信息公示表顯示,曲靖市麒麟?yún)^(qū)農(nóng)村信用合作聯(lián)社因貸款管理嚴(yán)...
01-22
  近年來(lái),隨著個(gè)人消費(fèi)貸款需求不斷增長(zhǎng),不法貸款中介、電信詐騙不法人員盯上了這塊“蛋糕”。...
01-24
天蝎座男生以其神秘、深沉的性格而聞名,他們對(duì)感情非常專一,善于保護(hù)自己和所愛(ài)的人。然...
01-22
雙子座的男生喜歡聰明、機(jī)智和有趣的人。他們對(duì)于細(xì)節(jié)非常敏感,因此如果你想要感動(dòng)一個(gè)...
01-22
國(guó)際超模的璀璨舞臺(tái):T臺(tái)走秀背后的故事在時(shí)尚界,國(guó)際超模的T臺(tái)走秀一直是萬(wàn)眾矚目的焦點(diǎn)。每一次的走秀都像是一場(chǎng)藝術(shù)的盛會(huì),不僅展現(xiàn)了設(shè)計(jì)師的創(chuàng)意與靈感,更是模特們風(fēng)貌與氣...
02-12
如何模仿男士頭女明星的時(shí)尚裝扮在當(dāng)今時(shí)尚界,男士頭女明星憑借其獨(dú)特的風(fēng)格和大膽的時(shí)尚表現(xiàn),引領(lǐng)了許多潮流趨勢(shì)。我作為一名時(shí)尚愛(ài)好者,尤其是喜歡從她們身上汲取靈感,嘗試將...
02-17
1月27日消息,“2024年中國(guó)產(chǎn)業(yè)互聯(lián)網(wǎng)垂直細(xì)分行業(yè)TOP10企業(yè)”榜單近日發(fā)布。卓爾智聯(lián)及旗下中農(nóng)網(wǎng)、卓鋼鏈、化塑匯、CIC、華紡鏈、海上鮮分別入選綜合型、農(nóng)業(yè)、鋼鐵、化工...
02-07
2月9日消息,從年初五到開(kāi)工第一周,天貓上開(kāi)運(yùn)工位裝飾用品同比增長(zhǎng)超50%,迎來(lái)正式開(kāi)工的年輕職場(chǎng)人把辦公桌變成了許愿池,樂(lè)高招財(cái)貓、故宮金桂盆景香氛、朱炳仁聚寶盆等“祈福...
02-09
2月11日消息,“市象”公眾號(hào)發(fā)文稱,美團(tuán)內(nèi)部正在進(jìn)行一場(chǎng)AI“大躍進(jìn)”。有美團(tuán)內(nèi)部員工透露,今年年初定的大OP(目標(biāo)計(jì)劃)就是四個(gè)All in,分別是海外市場(chǎng)、下沉市場(chǎng)、無(wú)人機(jī)、AI。...
02-13
史玉東有兩重身份,他是全國(guó)人大代表,也是蒙牛集團(tuán)全球研發(fā)創(chuàng)新中心研發(fā)總監(jiān)。 來(lái)自乳業(yè)研發(fā)一線的身份,讓他對(duì)行業(yè)有更深刻的了解。...
03-05
近年來(lái),智能門(mén)鎖已然成為智能家居領(lǐng)域的熱門(mén)單品。然而,隨著智能鎖技術(shù)的快速迭代,老款產(chǎn)品逐漸難以滿足人們?nèi)找嬖鲩L(zhǎng)的生活需求。眾多用戶雖有強(qiáng)烈的換新意愿,卻在這一過(guò)程中遭...
01-21
2024年末,一位科技創(chuàng)業(yè)者火了。作者 | 王思琪來(lái)源 | 投資家(ID:touzijias)2024年末,一位科技創(chuàng)業(yè)者火了。2025年初,這位創(chuàng)業(yè)者再度爆火。近日,中國(guó)科技行業(yè)因一位85后年輕人現(xiàn)身《...
01-24
近日《和平精英》官方公布了全新系列角色“賽博古神”,1月28日正式上線。官方還發(fā)布了角色預(yù)告和皮膚展示圖,一起來(lái)欣賞下吧! 角色預(yù)告: 官方介紹稱,浩瀚的歷史長(zhǎng)...
01-29
索尼宣布,是時(shí)候和去年為慶祝PlayStation成立30周年而推出的PS5主題說(shuō)再見(jiàn)了。不過(guò)好消息是,鑒于玩家們的 “熱烈反響”,索尼計(jì)劃讓這些主題回歸。 去年12月,索尼...
02-03
極目新聞?dòng)浾?付瞰是誰(shuí),在大年初五見(jiàn)到了肖戰(zhàn)?哦,是我們武漢影迷啊。2月2日大年初五中午,電影《射雕英雄傳:俠之大者》在武漢百麗宮影城舉辦驚喜見(jiàn)面會(huì),數(shù)百位武漢影迷受邀與影片...
02-02
新華社德黑蘭2月5日電(記者陳霄 沙達(dá)提)伊朗第一副總統(tǒng)阿雷夫5日在首都德黑蘭接受媒體采訪時(shí)表示,伊朗政府目前沒(méi)有與美國(guó)總統(tǒng)特朗普“會(huì)面或談判”的計(jì)劃。據(jù)伊朗伊斯蘭共和國(guó)...
02-06
返回

點(diǎn)擊右上角微信好友

朋友圈

點(diǎn)擊瀏覽器下方“”分享微信好友Safari瀏覽器請(qǐng)點(diǎn)擊“”按鈕

點(diǎn)擊右上角QQ

點(diǎn)擊瀏覽器下方“”分享QQ好友Safari瀏覽器請(qǐng)點(diǎn)擊“”按鈕