tubesex18 video,国产亚洲婷婷香蕉久久精品 ,九九99久久精品综合,国产精品99久久不卡,久久精品免视看国产成人

智算中心太“多”,大模型不夠用了

4個月前 來源: 觀看:153

英偉達(dá)芯片“倒?fàn)敗眰?,開始不發(fā)朋友圈了。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

2023年大模型火熱的時候,“倒?fàn)敗眰兣笥讶Φ漠嬶L(fēng)是“欲購從速、30%定金,有實力的老板來!”到了2024年就變成了“現(xiàn)貨現(xiàn)款、物美價優(yōu)。”甚至有一批人已經(jīng)黯然退場。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

以H100整機(jī)價格為例,官方售價為30萬美元左右,水貨一度高達(dá)300多萬人民幣,超過50%的利潤空間,讓不少人趨之若鶩,但是現(xiàn)在價格已經(jīng)回落到230萬人民幣左右,再倒賣也就沒什么利潤空間。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

其中既有英偉達(dá)芯片更新?lián)Q代的原因,基于Blackwell架構(gòu)的GB200等新品單位算力成本更低;也有算力行業(yè)從過熱到回歸理性的必然,有了GPU并不意味能轉(zhuǎn)換成大模型算力,大家對這一現(xiàn)實的理解,是用真金白銀砸出來的。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

大模型之大,動輒需要64/128/256臺服務(wù)器(一臺服務(wù)器8張GPU卡)組成的算力集群來訓(xùn)練。對于志在基礎(chǔ)大模型的廠商來說,萬卡集群成了入門門檻,不僅海外OpenAI、馬斯克的xAI等都在規(guī)劃十萬卡集群,國內(nèi)也同樣走在競逐十萬卡集群的路上。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

來自需求端的壓力,也正在重新校正AI算力產(chǎn)業(yè),首當(dāng)其沖的便是智算中心。作為計算、存儲、網(wǎng)絡(luò)的集合體,智算中心直接反映大模型算力的行業(yè)現(xiàn)狀,而來自一線的聲音趨于一致:智算中心太“多”,大模型不夠用了。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

缺算力是真的,空置也是真的KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

智算中心并不是絕對意義上的“多”,無論從各種視角看,真正適配大模型訓(xùn)練的算力在未來一段時間仍有很大的缺口,大規(guī)模智算中心的建設(shè)不會停止。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

以O(shè)penAI為代表,ChatGPT發(fā)布兩年來,大模型產(chǎn)業(yè)發(fā)展的腳步似乎變慢了,不排除這是大模型新一輪爆發(fā)前的蟄伏,在“Scaling Law”(規(guī)模法則)信仰之下,xAI、Meta、OpenAI等巨頭都在積極布局十萬卡乃至更大規(guī)模的智算集群。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

例如7月份,馬斯克宣布位于美國田納西州孟菲斯市的超級集群開始投入訓(xùn)練,該集群配備了10萬個英偉達(dá) H100 GPU,被稱為 “世界上最強(qiáng)大的 AI 訓(xùn)練集群”。兩個月后,馬斯克宣布該集群名為 “Colossus(巨人)”,將在未來幾個月內(nèi)再增加 10 萬顆 GPU,其中 5 萬顆將是更為先進(jìn)的英偉達(dá) H200,Grok 3訓(xùn)練預(yù)計在三到四個月內(nèi)于該集群完成,目標(biāo)是12月發(fā)布。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

再看OpenAI,甚至因為算力交付和“鐵桿盟友”微軟產(chǎn)生了分歧。此前微軟與 OpenAI 合作共建一個代號為 “星際之門” 的巨型數(shù)據(jù)中心項目,項目預(yù)計成本超過 1150 億美元,旨在建設(shè)一個配備數(shù)百萬塊 GPU 的超級計算機(jī)。據(jù)報道,微軟計劃到2025年底向 OpenAI 提供約 30 萬個英偉達(dá)最新的 GB200。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

但是奧爾特曼似乎對微軟的速度還不滿意,在完成66億美元的最新一筆融資后,OpenAI又與甲骨文達(dá)成合作,將在德克薩斯州的一個新數(shù)據(jù)中心租用服務(wù)器,該數(shù)據(jù)中心未來可容納數(shù)十萬個英偉達(dá)GPU。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

超大規(guī)模數(shù)據(jù)中心解決方案運營商秦淮數(shù)據(jù)對鈦媒體APP表示,公司堅定看多智算,預(yù)計2027年開始智算需求進(jìn)一步爆發(fā),到2030年100%的推理需求都需要由超大規(guī)模數(shù)據(jù)中心來完成。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

賽迪顧問人工智能與大數(shù)據(jù)研究中心高級分析師白潤軒此前表示, 截至2024年上半年,國內(nèi)已經(jīng)建設(shè)和正在建設(shè)的智算中心超過250個,2024年上半年智算中心招投標(biāo)相關(guān)事件791起,同比增長高達(dá)407.1%。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

“這表明智算中心的建設(shè)在全國范圍內(nèi)得到了廣泛的關(guān)注和支持。從2023年開始,各地政府加大了對智算中心的投資力度,推動了基礎(chǔ)設(shè)施的發(fā)展?!卑诐欆幷f。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

百度智能云AI計算部負(fù)責(zé)人王雁鵬則表示,從需求側(cè)來看,十萬卡是今年大模型競爭的規(guī)模門檻,從技術(shù)角度來看,大模型算力基本估算為模型的大小乘以所需要的數(shù)據(jù)量,“GPT4是萬億參數(shù),大概用了2-3萬張H卡集群訓(xùn)出來GPT4,按照Scaling Law推算,GPT5的集群卡數(shù)大概在十萬量級,可能是5-10萬之間,參數(shù)級別會提升大概3-5倍。”KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

然而,與萬卡算力集群火熱相對應(yīng)的,是大模型市場的“冷清”。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

據(jù)經(jīng)濟(jì)觀察報統(tǒng)計,截至2024年10月9日,網(wǎng)信辦共通過188項生成式人工智能備案,也就是有188個大模型可以上線提供生成式人工智能服務(wù)。但超過三成的大模型在通過備案后未進(jìn)一步公開其進(jìn)展情況;僅有約一成的大模型仍在加速訓(xùn)練模型;接近一半的大模型則轉(zhuǎn)向了AI應(yīng)用的開發(fā)。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

這些跡象可以理解為:大模型預(yù)訓(xùn)練需求越來越集中了。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

與此同時,國內(nèi)市場相較于海外市場更復(fù)雜。相似之處是算力需求持續(xù)增長,不同之處是算力封鎖、生態(tài)不全,加之前期部分炒貨囤卡的行為,這就導(dǎo)致了一種詭異的狀態(tài)——算力既緊缺又空置。因為,“把GPU卡塞進(jìn)機(jī)房”和“構(gòu)建用于大模型訓(xùn)練所需的算力集群”,是兩個完全不同的概念。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

但是,對于智算中心的空置率或者浪費程度,并沒有一個統(tǒng)一的答案。從鈦媒體APP獲得的一份資料可以有個大概感知:上半年國內(nèi)已上線智算中心17億卡時,使用5.6億卡時,利用率32%;另有數(shù)據(jù)顯示,目前算力基礎(chǔ)設(shè)施行業(yè)的平均上架率不足 60%。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

算力空置引起各方關(guān)注KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

“各地前期已經(jīng)建設(shè)了一批智算中心,不管是國產(chǎn)卡還是英偉達(dá)的卡,這些集群都不同程度上存在閑置問題,政府已經(jīng)注意到了這些問題,智算中心的運營主體也也不少出現(xiàn)虧損,在算力挑戰(zhàn)短時間內(nèi)很難解決的情況下,投資節(jié)奏上還是要有所把控?!币晃唤咏男袠I(yè)側(cè)人士對鈦媒體App提到。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

國家層面先后推出了十余項政策推進(jìn)智算中心建設(shè),例如“東數(shù)西算”“數(shù)字中國建設(shè)整體布局規(guī)劃”等,但上述人士告訴鈦媒體App,最近發(fā)改委已經(jīng)基本明確,如果還要進(jìn)一步新建智算中心,而且是采購國外卡,能耗指標(biāo)均不予批復(fù)。如果采購國產(chǎn)卡,考慮支持國產(chǎn)創(chuàng)新,并且在東數(shù)西算的八大節(jié)點上,還可以安排能耗指標(biāo)。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

據(jù)了解,目前智算中心主要投資模式,一是政府投資建設(shè),建設(shè)資金來自地方政府財政資金、專項債券發(fā)行等,建成后所有權(quán)歸政府所有;二是企業(yè)獨立投資建設(shè),由企業(yè)聯(lián)盟、少數(shù)企業(yè)聯(lián)合、單獨企業(yè)等形式進(jìn)行投資;三是高校或科研機(jī)構(gòu)獨立投資建設(shè),向師生、研究人員提供免費算力支撐,服務(wù)高校教育場景,這種情況下建設(shè)成本較低。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

這其中,有不少智算中心向銀行貸款采購GPU卡,承諾兜底方都是幾家搞基礎(chǔ)大模型的公司,比如阿里巴巴、騰訊、百度等。銀行也很疑惑,大模型公司本身就有云基礎(chǔ)設(shè)施和大量GPU卡,絕大多數(shù)中間商的議價權(quán)和渠道能力還不如這些大廠,怎么讓大廠們加錢采購?KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

鈦媒體APP獲悉,有地方政府開始斡旋,希望讓云廠商租用閑置的智算中心算力?!拔覀兌疾恢绹鴥?nèi)還有這么多卡,某種意義上,算力稀缺的背后存在一些資源錯配?!鄙鲜鋈耸勘硎?。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

該人士還提到,政府意識到可能會有算力浪費的情況出現(xiàn),但是,部分地方手握能耗指標(biāo),和供應(yīng)商拉扯的時間較多,智算中心建得慢,而部分地方建設(shè)得快反而虧損,由此帶來的負(fù)面甚至引起了高層注意。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

據(jù)悉,工信部日前面向六個城市定向下發(fā)了關(guān)于智算云服務(wù)試點的批文,希望用公共云的方式,解決前期各地方的智算中心建設(shè)問題,特別是國有資金建設(shè)的一些小散算力中心浪費問題。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

近幾個月來,政府側(cè)已經(jīng)出臺多項政策,正強(qiáng)調(diào)有序引導(dǎo),出清落后產(chǎn)能。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

例如《數(shù)據(jù)中心綠色低碳發(fā)展專項行動計劃》發(fā)布,對數(shù)據(jù)中心行業(yè)的區(qū)域布局、能效水效、綠電使用進(jìn)行了嚴(yán)格、全面的規(guī)定,并提出“全面清理地方高耗能電價優(yōu)惠政策”,輿論普遍認(rèn)為該政策將加速落后產(chǎn)能淘汰,從而改善行業(yè)供給結(jié)構(gòu),促進(jìn)行業(yè)良性發(fā)展。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

8 月 1 日,《公平競爭審查條例》正式實施,要求各地方政府“沒有法律法規(guī)依據(jù)或國務(wù)院批準(zhǔn),不得給予特定經(jīng)營者稅收優(yōu)惠”,這意味著盛行已久的地方“以稅引商”模式被按下了暫停鍵,企業(yè)將更關(guān)注經(jīng)營本身,有利于行業(yè)從“卷價格”走向“卷創(chuàng)新”。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

云計算行業(yè)也看到了智算中心建設(shè)的問題。阿里云智能科技研究中心主任安琳提到,目前有三種“萬卡集群:KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

假萬卡集群——公司確實有一萬張AI加速卡(GPU卡),但分布在全國幾個不同的數(shù)據(jù)中心,每個數(shù)據(jù)中心有幾百張或幾千卡,加起來超過萬卡。這種集群是“假萬卡集群”。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

偽萬卡集群——擁有一萬張AI加速卡且部署在同一個數(shù)據(jù)中心,但訓(xùn)練特定模型的時候,只有一部分卡實際參與訓(xùn)練。例如:1000卡訓(xùn)練A模型,2000張卡訓(xùn)練B模型,3000張卡訓(xùn)練C模型,4000張卡訓(xùn)練D模型。這種萬卡集群是“偽萬卡集群”。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

真萬卡集群——單一集群擁有一萬張AI加速卡(如GPU卡),部署在同一個數(shù)據(jù)中心,并且能通過大規(guī)模資源調(diào)度技術(shù),讓萬卡作為“一臺”計算機(jī),單一模型能在這一萬張卡上同時進(jìn)行訓(xùn)練。正如100個昆明湖連起來,也訓(xùn)不出一支航母艦隊,大模型也是如此,只有真正的萬卡智算集群,才能訓(xùn)練出國際先進(jìn)的大模型。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

有數(shù)據(jù)中心行業(yè)人士也表示,數(shù)據(jù)中心行業(yè)對內(nèi)卷嚴(yán)重的感知非常明顯,比如很多數(shù)據(jù)中心企業(yè)無條件為客戶預(yù)留資源;簽訂短期租約,客戶擁有隨時調(diào)價調(diào)量的權(quán)益;過度擴(kuò)大責(zé)任范圍;招投標(biāo)突破合理價格底線等等,這都是一些內(nèi)卷帶來的亂象。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

為什么大模型算力會閑置?KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

在回答這一問題之前,有必要捋清下大模型所需的算力類型。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

目前大模型所需的算力主要有三種,其一是超大規(guī)模的大模型訓(xùn)練,需要的算力集群越來越大,智算中心供不應(yīng)求;其二是常規(guī)的大模型訓(xùn)練/微調(diào),一般的裸金屬或者算力集群都能滿足;其三是推理需求,用云主機(jī)等都能滿足,未來需求有望穩(wěn)定增長。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

可以看出,除了第一種基礎(chǔ)大模型的訓(xùn)練需求之外,其余的大模型算力需求并不十分緊缺,不用最新的英偉達(dá)GPU卡,國產(chǎn)AI芯片也能頂上,企業(yè)可以在價格、成本、易用性等因素之間尋找平衡點。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

ZStack CTO王為提到了一個很有意思的現(xiàn)象,也是國內(nèi)企業(yè)不得已為之的權(quán)宜之計——他表示,企業(yè)對于AI的投入還是相對比較謹(jǐn)慎的,在很多場景下用消費級顯卡,很大程度上解決了大模型非預(yù)訓(xùn)練的需求。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

對于云廠商而言,按照正常的生意邏輯,一邊買卡一邊以云服務(wù)的形式賣出去,不會大肆囤卡,其他的囤卡行為顯然沒有充分認(rèn)識到,賣卡這門生意有多難。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

租卡也是一種節(jié)省成本的方法,GPU正在更新?lián)Q代,但不是簡單的付租金就行,云廠商還要帶著工程團(tuán)隊去做大量改造,估算地價、電價等,額外配置交換機(jī)、網(wǎng)卡、光纜等,任何資本支出都要盤算是否值得投入。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

安琳進(jìn)一步補(bǔ)充道,智算中心的三大主要門檻包括集群網(wǎng)絡(luò)、任務(wù)調(diào)度、智能運維。王雁鵬也表示,國內(nèi)構(gòu)建10萬卡集群面臨著三大難題,跨地域部署、多芯混訓(xùn)以及集群穩(wěn)定性,這些難題包括技術(shù)和工程上的多重挑戰(zhàn)。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

首先是網(wǎng)絡(luò),大模型催生了一種全新的網(wǎng)絡(luò)需求,此前從未有過,也就沒有相應(yīng)的成熟方案,市面上所有方案都是邊研發(fā)邊使用,可以說,網(wǎng)絡(luò)技術(shù)直接決定集群規(guī)模能建多大。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

“幾百G的帶寬,在每一個毫秒范圍內(nèi)正向模型訓(xùn)練帶寬全占滿,下一個毫秒又反向全占滿回來,在人類歷史上的通信,沒碰到過這種需求。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

這涉及到諸多軟件硬件,交換機(jī)、網(wǎng)卡芯片硬件和軟件設(shè)計,路徑選擇的算法、通信協(xié)議的加速。要干這件事,網(wǎng)卡、交換機(jī)甚至中間用的光纜都得專門定制。”安琳說道,阿里云AI高性能網(wǎng)絡(luò)架構(gòu)HPN 7.0成果論文被SIGCOMM2024收錄,成為SIGCOMM歷史上首篇關(guān)于AI智算集群網(wǎng)絡(luò)架構(gòu)的論文。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

其次是調(diào)度,算力集群規(guī)模小,網(wǎng)絡(luò)當(dāng)然簡單,但是效率和規(guī)模就沒有競爭力,如何讓計算任務(wù)靈活的在硬件資源調(diào)度,資產(chǎn)利用率就能越高,算力價格就可以做到更低。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

傳統(tǒng)思路是按照硬件資源做調(diào)度,先監(jiān)測算力卡是否空閑,如果閑著了就給他扔一個任務(wù)過去,這是最簡單且效率極低的調(diào)度,云計算行業(yè)早已經(jīng)進(jìn)化到按任務(wù)來調(diào)度,可以監(jiān)測到每一張卡上每一個任務(wù)的進(jìn)程,然后根據(jù)任務(wù)進(jìn)程分配新的任務(wù)。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

安琳強(qiáng)調(diào),“不是簡單地給算力卡安排任務(wù),而是把更細(xì)顆粒度的一個個不同的計算任務(wù)在這些卡間做調(diào)度,需要很多的工程技術(shù)能力積累,這也是為什么現(xiàn)在全世界做得好的AI公司,基本上都屬于云計算公司。”KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

最后是運維,在以前的計算中,算力卡壞了可以很快將其隔離,然后繼續(xù)用其他卡運行,現(xiàn)在大模型有很多瞬時故障,在毫秒級時間有抖動,一次通信過程中的抖動和丟包,就會導(dǎo)致GPU利用率下降50%。據(jù)安琳介紹,阿里云已經(jīng)升級到毫秒級檢測,及時從集群里隔離故障算力。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

此外,國內(nèi)企業(yè)構(gòu)建算力集群還面臨著一個現(xiàn)實的困難:芯片。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

國內(nèi)企業(yè)面臨算力供應(yīng)不穩(wěn)定的挑戰(zhàn),較難構(gòu)建單一大規(guī)模訓(xùn)練集群。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

現(xiàn)實情況是,企業(yè)內(nèi)部會出現(xiàn)同一廠商不同代際芯片,或者不同廠商芯片共存的情況。這些芯片如何進(jìn)行混部訓(xùn)練,同時保證混部訓(xùn)練的效率也是難題。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

此外,隨著芯片集成度的不斷提高,芯片的故障率也會相應(yīng)上升,英偉達(dá)H系列芯片的故障率比A系列高3-4倍。并且算力集群規(guī)模越大,其故障率就越高。按照H系列芯片的故障率水平,十萬卡集群每20分鐘就會出現(xiàn)故障。較高的故障率對穩(wěn)定性訓(xùn)練保障提出了更高的要求。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

王雁鵬介紹,包括百度在內(nèi)的國內(nèi)廠商正在破解這些難題。在跨地域方面,針對由于傳輸距離變長所產(chǎn)生的高延遲,百舸4.0已經(jīng)構(gòu)建了十萬卡級別的超大規(guī)模HPN高性能網(wǎng)絡(luò),通過提供更高效的拓?fù)浣Y(jié)構(gòu)、更優(yōu)的多路徑負(fù)載均衡策略及通信策略,能夠?qū)崿F(xiàn)幾十公里的跨地域通信。同時,在通信效率上,通過優(yōu)化的擁塞控制算法、集合通信算法策略,將帶寬有效率提升至95%,實現(xiàn)了完全無阻塞。最后,通過10ms級別超高精度網(wǎng)絡(luò)監(jiān)控,保障了網(wǎng)絡(luò)穩(wěn)定性。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

智算中心,從內(nèi)卷走向有序KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

對于智算中心的建設(shè)是否過于超前,不同人有不同看法。一方認(rèn)為,國內(nèi)智算中心還無法擺脫海外生態(tài)體系,需要三到五年的過渡期,在此過程中,大規(guī)模加速建設(shè)智算中心必然會帶來大量浪費。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

另一方認(rèn)為,海外封鎖只會愈發(fā)嚴(yán)峻,國產(chǎn)算力生態(tài)必須加速成熟,相比于國家戰(zhàn)略的競爭,超前建設(shè)帶來的一些小問題是可以接受的。有消息顯示,受到美方要求,臺積電被迫采取臨時策略,將暫停向大陸AI算力芯片客戶供應(yīng)7nm工藝及以下更先進(jìn)制程的代工服務(wù)。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

目前來看,囤積英偉達(dá)卡的確帶來一部分算力浪費,如上所述,很多購卡方不具備智算中心所需的網(wǎng)絡(luò)、調(diào)度和運維能力。一位智算中心技術(shù)專家直言,“之前太多的投機(jī)倒把,很多都不是干這個行業(yè)的,覺得囤貨就能掙錢,把它塞到一個機(jī)房里面去,穩(wěn)定性,各種容錯,亂七八糟的問題都解決不了,造成了很多浪費。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

國產(chǎn)算力也同樣存在問題,該專家談及國產(chǎn)AI算力的浪費時感慨,“華為的運營能力太強(qiáng),在大家還沒有準(zhǔn)備好用國產(chǎn)卡和用華為的時候,花了大力氣搞算力場、智算中心,運營商建了大幾萬卡的集群,它的芯片距離客戶開箱即用,到真正能用好還有一些距離,接下來會有更多的國產(chǎn)芯片進(jìn)來,這個問題會進(jìn)一步放大?!?span style="display:none">KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

“但是對于整體國產(chǎn)卡這件事情我比較樂觀,基于大模型時代算力格局變化。原來的模型非常分散,CUDA生態(tài)非常厲害是因為要兼容那么多模型,現(xiàn)在大模型比較收斂的情況下,大家的主流框架是一樣的;同時英偉達(dá)又這么貴,再考慮到算力可獲得性問題,大家就會更愿意嘗試用國產(chǎn)卡?!彼a(bǔ)充表示。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

近日,《科技日報》也頭版刊登了全國政協(xié)委員張云泉署名文章《智算中心建設(shè)不可盲目跟風(fēng)》,文章強(qiáng)調(diào),智算中心的建設(shè)需要巨額資金投入,而投資回報卻不確定。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

文章表示,由于智算技術(shù)更新迭代很快,智算中心的生命周期一般只有5至10年,如果沒有強(qiáng)大的技術(shù)儲備和升級能力,就可能陷入不斷投入?yún)s無法跟上技術(shù)發(fā)展步伐的困境。另外,智算中心的運營管理離不開專業(yè)的技術(shù)人才和高效的管理團(tuán)隊,否則就可能無法發(fā)揮其應(yīng)有作用,甚至出現(xiàn)設(shè)備閑置、資源浪費等問題。由此看來,智算中心該不該建、能不能建、什么時候建、建在哪里,需要科學(xué)、穩(wěn)慎決策,絕不能頭腦發(fā)熱、一哄而上“趕時髦”??偟脑瓌t應(yīng)當(dāng)是,在市場需求明確且可持續(xù)的情況下,因地制宜、按需建設(shè)、適當(dāng)超前。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

一些地方也加強(qiáng)了對智算中心運營的要求,比如山東德州價值約2億元的“全國一體化工業(yè)大數(shù)據(jù)山東云中心省會經(jīng)濟(jì)圈區(qū)域分中心數(shù)據(jù)機(jī)房‘德智未來’智算中心項目”,就在招標(biāo)文件中明確寫明了“采用設(shè)計施工采購運營一體化的模式建設(shè)”,要求運營期限不低于5年,并規(guī)定了項目驗收投運后每年算力的最低收益。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

王為也表示,從政策角度上看,政府對智算中心的要求比以前多,以前是先把智算中心建起來就行,現(xiàn)在建設(shè)初期就會找好的運營方,或者建設(shè)與運營一體,保證算力的使用率。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

“去年算力消耗以訓(xùn)練為主,目前看消解不了算力中心的算力,很多大模型廠商手里囤的算力也不少,一些大模型廠商也減少了預(yù)訓(xùn)練,不太需要對外租很大的算力了?,F(xiàn)在很多智算中心也開始找一些推理的場景,研究落地應(yīng)用,使用端會更分散,整個市場應(yīng)該會更健康?!彼f。KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com


KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com


KjO即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

本文鏈接:http://jphkf.cn/news-14-6923-0.html智算中心太“多”,大模型不夠用了

聲明:本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn),不代表本站觀點,本站不承擔(dān)任何法律責(zé)任。天上不會到餡餅,請大家謹(jǐn)防詐騙!若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。

上一篇:「富勒科技」完成3億元新一輪融資

下一篇:浙大天才,震驚全球

為你推薦
谷歌于上個月與三星和高通合作,推出了安卓擴(kuò)展顯示(AndroidXR)平臺。 公司稱它是“為下一代計算構(gòu)建的新操作系統(tǒng)”,并且目前收購了 HTC Vive 的部分工程團(tuán)隊,他們...
01-25
快科技2月5日消息,據(jù)燈塔專業(yè)版實時數(shù)據(jù),截至2月5日1時3分,影片《哪吒之魔童鬧?!菲狈客黄?0億。 《哪吒之魔童鬧海》也正式殺入中國影史票房榜第五,而第四就是《...
02-05
昨天(1日),我國南方地區(qū)陰雨雪天氣持續(xù),河南、湖北、安徽等地局地出現(xiàn)大雪。今天(2日),南方大部地區(qū)仍被陰雨雪“控場”,濕冷感較為突出。此外,新疆、青海、甘肅以及東北地區(qū)有小雪或...
02-02
2月5日正月初八,開工第一天,很多網(wǎng)友選擇自駕返回自己工作的城市。臨行前,后備箱被家人塞得滿滿當(dāng)當(dāng),家鄉(xiāng)特產(chǎn),瓜果蔬菜,臘肉香腸饅頭。很多網(wǎng)友在網(wǎng)絡(luò)曬出自己的后備箱,并戲稱有一...
02-06
1月14日,記者從中國科學(xué)院合肥物質(zhì)科學(xué)研究院等離子體物理研究所(以下簡稱“等離子體所”)獲悉,由該所建設(shè)運行的國家重大科技基礎(chǔ)設(shè)施“聚變堆主機(jī)關(guān)...
01-21
被譽(yù)為“AI六小虎”之一北京智譜華章科技有限公司(以下簡稱智譜)被拉入實體清單了。當(dāng)?shù)貢r間1月15日,美國商務(wù)部工業(yè)和安全局(BIS)修訂...
01-21
   1月20日,云南昆明,小白虎在戶外活動。近日,云南野生動物園的兩只孟加拉小白虎度過環(huán)境適應(yīng)期...
01-23
  據(jù)氣象部門預(yù)報,預(yù)計2月11日夜間遼寧中東部地區(qū)有中雪到大雪(降雪量4~10毫米),山區(qū)局部有暴雪(降雪量10~13...
02-11
央視網(wǎng)消息:春節(jié)電影檔往往成為全年經(jīng)濟(jì)“晴雨表”之一。春節(jié)臨近,電影市場也逐漸火熱。2025年春節(jié)檔自19日開啟預(yù)售以來,已刷新多項紀(jì)錄。據(jù)網(wǎng)絡(luò)平臺數(shù)據(jù)顯示,截至20日9時16...
01-21
新聞通訊員 木子春運承載著億萬游子對家鄉(xiāng)的眷戀與期盼,春節(jié)的腳步近了,歸心似箭的人們紛紛踏上返鄉(xiāng)之路。據(jù)交通運輸?shù)炔块T預(yù)計,今年春運全社會跨區(qū)域人員流動量將達(dá)到90億人...
01-22
1 月 21 日消息,據(jù)中國汽研今日消息,《智能網(wǎng)聯(lián)汽車交通事故保險賠償判定技術(shù)規(guī)范》團(tuán)體標(biāo)準(zhǔn)啟動會近日在北京召開。平安財險、太平洋財險、中國人壽財險等 20 余家保...
01-21
1 月 22 日消息,據(jù)特斯拉官方微博,特斯拉現(xiàn)已在其Tesla App官方商城中上架椒鹽瓶套組 / 蛇年雙肩背包 / 高爾夫傘等配件,整理具體商品如下:特斯拉椒鹽瓶套組定價:239元官...
01-23
近期電視劇《善意的競爭》成為熱門話題,開拍前就吸引了大量粉絲。隨著劇集播出,觀眾群體不斷擴(kuò)大,大家都非常興奮并期待劇情發(fā)展。很多人特別好奇劉在伊是否喜...
02-20
《余燼之上》美華姐是什么身份?美華姐背景是什么??戚美華在《余燼之上》中是廖思遠(yuǎn)的養(yǎng)母,經(jīng)營著一家藥鋪?。她性格豪放,喜歡享受生活,交際廣泛,對廖思遠(yuǎn)有著深...
02-21
21世紀(jì)經(jīng)濟(jì)報道記者 唐唯珂 廣州報道代糖產(chǎn)業(yè)也被卷入貿(mào)易壓力。近期,中國赤蘚糖醇行業(yè)面臨來自歐盟和美國的雙重貿(mào)易壓力。2025年1月16日,...
02-08
這里是《21健訊Daily》,歡迎與21世紀(jì)經(jīng)濟(jì)報道新健康團(tuán)隊共同關(guān)注醫(yī)藥健康行業(yè)最新事件!政策動向黃果在北京大學(xué)腫瘤醫(yī)院調(diào)研優(yōu)化創(chuàng)新藥臨床...
02-14
  大眾網(wǎng)記者 秦瑾 通訊員 張建東 報道  近日,由山東省教育廳主辦、曲阜師范大學(xué)承辦的山東省第五屆高校體育教師基本功大賽圓滿落幕。齊魯師范學(xué)院體育學(xué)院教師們以...
01-21
  大眾網(wǎng)記者 楊濤報道  日前,“外研社·國才杯”“理解當(dāng)代中國”全國大學(xué)生外語能力演講大賽(山東賽區(qū)高職組)成績揭曉,青島港灣職業(yè)技術(shù)學(xué)院的王淑珍同學(xué)憑借出色的表...
01-21
  1月15日,曲靖金融監(jiān)管分局行政處罰信息公示表顯示,曲靖市麒麟?yún)^(qū)農(nóng)村信用合作聯(lián)社因貸款管理嚴(yán)...
01-22
  摘要  【一年跌近30%純堿拐點何時出現(xiàn)?】2024年,在上游產(chǎn)能大幅擴(kuò)張與行業(yè)高開工率的雙重作...
01-27
獅子座的男性通常以自信、熱情和領(lǐng)導(dǎo)能力著稱。然而,有時候他們可能會表現(xiàn)出一種被稱為...
01-22
天蝎座的男生通常都很深沉、神秘而又充滿魅力。如果你想讓一個天蝎男愛上你并對你心疼...
01-22
白襯衫搭配什么褲子男?一、白襯衫搭配什么褲子男?白襯衫搭配1、白襯衫搭配黑色西褲男士白色襯衫搭配一條黑色合身的西褲,系上黑色時尚皮帶,穿上英倫皮鞋,很帥氣有男人味,適合職場...
02-07
探索巴爾虎蒙古族的獨特服飾文化在中國的遼闊大地上,生活著許多各具特色的民族,其中巴爾虎蒙古族以其獨特的服飾文化而聞名。每當(dāng)我看到他們的傳統(tǒng)服飾,不禁想深入了解這其中的...
02-12
2月12日消息,隨著電影《哪吒之魔童鬧海》登頂全球影史票房榜,電影衍生的正版圖書在天貓掀起熱潮。天貓中信出版社官方旗艦店的負(fù)責(zé)人表示,《哪吒?三界往事》這一原創(chuàng)番外繪本,...
02-13
已經(jīng)鬧上法庭。1、三只羊公司被起訴過去了這么久,沒等到小楊哥復(fù)出,卻等來了三只羊的官司。近日,據(jù)天眼查消息,合肥三只羊網(wǎng)絡(luò)科技有限公司、廣州市美誠食品有限公司等新增一則...
02-13
2月11日消息,餓了么董事長吳澤明(花名:范禹)今日通過公司全員信宣布餓了么最新組織調(diào)整:即日起,吳澤明將兼任餓了么CEO,韓鎏(花名:昊宸)專注分管即時物流中心,繼續(xù)向吳澤明匯報。吳澤明...
02-12
法國作家羅曼·羅蘭曾說:“沒有一場深刻的戀愛,人生等于虛度一場?!睈矍樽怨乓詠硎侨祟愖非?、渴望的情感之一,人們在它帶來的詩意與...
03-04
自去年底開始,黃金多頭優(yōu)勢逐漸退卻,國際現(xiàn)貨黃金價格經(jīng)歷幾次大跌后一度跌下2700關(guān)口,多空進(jìn)入漫長的震蕩周期,多頭始終無法找到再度沖高的時機(jī)。  北京時間1月21日,國際現(xiàn)貨...
01-24
伴隨著7.53億個心愿,淘寶第四次回到春晚這個互聯(lián)網(wǎng)企業(yè)的核心戰(zhàn)場,登上舞臺中央,帶來了一種前所未有的互動方式——許愿紅包。不再“搖一搖”,不再“紅包雨”,不再是直給的金錢誘...
02-09
返回

點擊右上角微信好友

朋友圈

點擊瀏覽器下方“”分享微信好友Safari瀏覽器請點擊“”按鈕

點擊右上角QQ

點擊瀏覽器下方“”分享QQ好友Safari瀏覽器請點擊“”按鈕