由想法流打造的“造夢(mèng)次元”，是由多模態(tài)AI驅(qū)動(dòng)的新一代內(nèi)容平臺(tái)，得益于商湯大裝置AIGC解決方案從算力到模型的端到端支持，通過(guò)算力和模型、模型和應(yīng)用之間的緊密協(xié)同，既創(chuàng)造了最佳的用戶體驗(yàn)，又獲得了最大化的成本效益，如今已成為一款日均活躍互動(dòng)時(shí)間超過(guò)100分鐘的現(xiàn)象級(jí)應(yīng)用。
50%成本節(jié)省、3~5倍推理時(shí)延降低、100%的QPS（每秒請(qǐng)求數(shù)）提升！
想法流合伙人、Studio負(fù)責(zé)人張鴻表示：“商湯大裝置展現(xiàn)出三重核心優(yōu)勢(shì)：一是算力與模型的深度協(xié)同，實(shí)現(xiàn)最高效的資源利用；二是針對(duì)文本、語(yǔ)音、圖像等不同模態(tài)的協(xié)同，構(gòu)建了流暢自然的交互體驗(yàn)；三是支持開(kāi)源模型的完善生態(tài)，提供了多樣化模型選擇。這種多維度協(xié)同優(yōu)勢(shì)助力我們完成了‘算力、模型、應(yīng)用’三位一體的全鏈條優(yōu)化，推動(dòng)技術(shù)效能向商業(yè)價(jià)值的高效轉(zhuǎn)化。”
日均6000萬(wàn)次調(diào)用、千億token消耗，帶來(lái)三大「生存挑戰(zhàn)」
基于對(duì)用戶需求的洞察，想法流通過(guò)技術(shù)創(chuàng)新直擊AI互動(dòng)應(yīng)用普遍存在的“沉浸感不足”和“門(mén)檻過(guò)高”兩大核心問(wèn)題。例如，通過(guò)提供文字、語(yǔ)音、文圖結(jié)合的多模態(tài)交互，讓用戶與 AI 的互動(dòng)體驗(yàn)趨近真實(shí)人際交流。此外，想法流還提供豐富的創(chuàng)作工具，用戶只需套用相關(guān)模板，就可快速搭建完整互動(dòng)內(nèi)容，有效降低了創(chuàng)作門(mén)檻。
造夢(mèng)次元每日平均模型調(diào)用量高達(dá)6000多萬(wàn)次，一天消耗的token達(dá)千億級(jí)別。在如此龐大的規(guī)模下，任何卡頓、宕機(jī)、出錯(cuò)都會(huì)導(dǎo)致嚴(yán)重的用戶流失；任何因模型能力不足造成的體驗(yàn)不佳，都會(huì)影響產(chǎn)品口碑；任何微小的資源閑置，都會(huì)累計(jì)成巨大的成本開(kāi)銷。擺在想法流面前的“生存挑戰(zhàn)”，主要體現(xiàn)在三個(gè)層面：
2倍峰谷差的算力彈性戰(zhàn)：造夢(mèng)次元的平臺(tái)流量有著鮮明的潮汐特征，周末和節(jié)假日高峰時(shí)段的流量可達(dá)低谷時(shí)期2倍，對(duì)基礎(chǔ)設(shè)施算力資源有很強(qiáng)的彈性伸縮需求。
推理時(shí)延的2秒生死線：虛擬角色互動(dòng)場(chǎng)景對(duì)時(shí)延極為敏感，要保證基本流暢的交互體驗(yàn)，模型推理時(shí)延需穩(wěn)定控制在2秒以內(nèi)。
模型迭代的穩(wěn)定性挑戰(zhàn)：想法流采用了很多開(kāi)源模型，需要跟隨社區(qū)節(jié)奏進(jìn)行頻繁升級(jí)甚至替換。需求多、更新頻，如何保證業(yè)務(wù)穩(wěn)定運(yùn)行也至關(guān)重要。
高峰秒級(jí)響應(yīng)不卡頓、低谷資源釋放不浪費(fèi)
商湯大裝置作為“最懂大模型的AI基礎(chǔ)設(shè)施”，為想法流提供了從算力到模型的全鏈路一體化AIGC整體解決方案，一站式支撐想法流的產(chǎn)品研發(fā)及運(yùn)營(yíng)需求，做到“高峰秒級(jí)響應(yīng)不卡頓、低谷資源釋放不浪費(fèi)”。
秒級(jí)彈性伸縮：成本暴降50%，流量潮汐從容應(yīng)對(duì)
面對(duì)流量峰谷波動(dòng)挑戰(zhàn)，商湯大裝置通過(guò)實(shí)時(shí)監(jiān)測(cè)、統(tǒng)一調(diào)度、智能擴(kuò)縮容的組合策略，實(shí)現(xiàn)秒級(jí)彈性伸縮，為想法流的整體運(yùn)營(yíng)成本降低了50%。其中，智能化統(tǒng)一調(diào)度結(jié)合監(jiān)測(cè)系統(tǒng)實(shí)時(shí)抓取的業(yè)務(wù)指標(biāo)，根據(jù)推理業(yè)務(wù)擴(kuò)縮容規(guī)則自動(dòng)分配資源，實(shí)現(xiàn)算力與流量的精準(zhǔn)匹配；并結(jié)合定時(shí)擴(kuò)縮容與按需擴(kuò)縮容的雙重策略，進(jìn)一步提升彈性伸縮的靈活性。
全鏈路優(yōu)化：5倍推理時(shí)延降低、100% QPS提升
想法流將“人均互動(dòng)次數(shù)”作為判斷模型體驗(yàn)的綜合指標(biāo)，推理時(shí)延和QPS正是影響該指標(biāo)的關(guān)鍵因素。商湯大裝置通過(guò)硬件資源、軟件框架、算法模型等多維度協(xié)同優(yōu)化，使推理時(shí)延降低3~5倍。
另外，在秒級(jí)彈性伸縮的基礎(chǔ)上，商湯大裝置還通過(guò)全鏈路量化加速、流量分級(jí)與降級(jí)等專項(xiàng)優(yōu)化，可在高峰期優(yōu)先保障高價(jià)值業(yè)務(wù)的響應(yīng)速度，最終將QPS提升100%，以更快的響應(yīng)速度提升用戶體驗(yàn)。
商湯日日新多模型組合，“人均互動(dòng)次數(shù)”翻倍提升
“人均互動(dòng)次數(shù)”另一個(gè)影響因素在于模型能力，商湯以商量語(yǔ)言大模型、商量擬人對(duì)話模型、文生圖模型秒畫(huà)等多模型組合，為造夢(mèng)次元用戶帶來(lái)“更懂人心”的交互體驗(yàn)。
其中，商量語(yǔ)言大模型以精準(zhǔn)的上下文語(yǔ)義分析、意圖推理及對(duì)人類情感的細(xì)致感知與回應(yīng)，助力造夢(mèng)次元以擬人化思維打造沉浸式交流體驗(yàn)。同時(shí)，依托商量擬人對(duì)話模型領(lǐng)先的角色對(duì)話、人設(shè)、及劇情推動(dòng)能力，幫助想法流用戶打造IP角色，為用戶提供高擬真對(duì)話體驗(yàn)。此外，創(chuàng)作者可使用秒畫(huà)的普通生圖、CN生圖、換臉、擴(kuò)圖等功能，進(jìn)行各類虛擬角色設(shè)計(jì)。
基于基礎(chǔ)設(shè)施的系統(tǒng)優(yōu)化和雙方的模型共創(chuàng)，造夢(mèng)次元的“人均互動(dòng)次數(shù)”從初期 20 輪提升至 40~50 輪，用戶粘性實(shí)現(xiàn)跨越式增長(zhǎng)。
可靠全面穩(wěn)定性保障：模型隨時(shí)升，業(yè)務(wù)不斷點(diǎn)
針對(duì)想法流高頻次的模型切換，以及開(kāi)源模型頻繁的版本升級(jí)給業(yè)務(wù)運(yùn)營(yíng)帶來(lái)的穩(wěn)定性挑戰(zhàn)，商湯大裝置針對(duì)推理階段構(gòu)建了涵蓋模型灰度發(fā)布、滾動(dòng)升級(jí)與智能運(yùn)維的全面穩(wěn)定性保障體系，不僅為模型快速迭代提供了有效支撐，也確保了在線業(yè)務(wù)的穩(wěn)定運(yùn)行。
日均活躍超100分鐘，構(gòu)建新型內(nèi)容消費(fèi)生態(tài)
短短兩年時(shí)間，“造夢(mèng)次元”已發(fā)展成為擁有數(shù)百個(gè)萬(wàn)粉級(jí)別IP角色，日均活躍互動(dòng)時(shí)間超過(guò)100分鐘的應(yīng)用平臺(tái)，是大量年輕用戶娛樂(lè)、情感表達(dá)和學(xué)習(xí)陪練的重要伙伴。未來(lái)，雙方還將聚焦多模態(tài)模型能力深化合作，給用戶帶來(lái)更新奇、更有趣的AI互動(dòng)之旅。
商湯科技聯(lián)合創(chuàng)始人、大裝置事業(yè)群總裁楊帆認(rèn)為：“商湯大裝置與想法流的合作，是對(duì)商湯科技‘大裝置-大模型-應(yīng)用’三位一體戰(zhàn)略價(jià)值的最佳詮釋。基于應(yīng)用場(chǎng)景特點(diǎn)開(kāi)展模型能力共創(chuàng)，訓(xùn)練高度貼合業(yè)務(wù)需求的垂類模型，并針對(duì)模型調(diào)用需求提供最優(yōu)的基礎(chǔ)設(shè)施支持，給予靈活的彈性伸縮、極低的推理時(shí)延和穩(wěn)定性保障，最終實(shí)現(xiàn)降本增效和用戶滿意度的提升。大模型算法與基礎(chǔ)設(shè)施的聯(lián)合優(yōu)化，不僅是驅(qū)動(dòng)生成式AI發(fā)展的核心動(dòng)力，也是實(shí)現(xiàn)最大化商業(yè)價(jià)值的最優(yōu)路徑?！?span style="display:none">Liq即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com
關(guān)于商湯
作為人工智能軟件公司，商湯科技以“堅(jiān)持原創(chuàng)，讓AI引領(lǐng)人類進(jìn)步”為使命，旨在持續(xù)引領(lǐng)人工智能前沿研究，持續(xù)打造更具拓展性更普惠的人工智能軟件平臺(tái)，推動(dòng)經(jīng)濟(jì)、社會(huì)和人類的發(fā)展，并持續(xù)吸引及培養(yǎng)頂尖人才，共同塑造未來(lái)。
商湯科技擁有深厚的學(xué)術(shù)積累，并長(zhǎng)期投入于原創(chuàng)技術(shù)研究，不斷增強(qiáng)行業(yè)領(lǐng)先的多模態(tài)、多任務(wù)通用人工智能能力，涵蓋感知智能、自然語(yǔ)言處理、決策智能、智能內(nèi)容生成等關(guān)鍵技術(shù)領(lǐng)域，同時(shí)包含AI芯片、AI傳感器及AI算力基礎(chǔ)設(shè)施在內(nèi)的關(guān)鍵能力。此外，商湯前瞻性打造新型人工智能基礎(chǔ)設(shè)施——商湯AI大裝置SenseCore，打通算力、算法和平臺(tái)，并在此基礎(chǔ)上建立“商湯日日新SenseNova”大模型及研發(fā)體系，以低成本解鎖通用人工智能任務(wù)的能力，推動(dòng)高效率、低成本、規(guī)?；腁I創(chuàng)新和落地，進(jìn)而打通商業(yè)價(jià)值閉環(huán)，解決長(zhǎng)尾應(yīng)用問(wèn)題，引領(lǐng)人工智能進(jìn)入工業(yè)化發(fā)展階段。
商湯倡導(dǎo)“發(fā)展”的人工智能倫理觀，并積極參與有關(guān)數(shù)據(jù)安全、隱私保護(hù)、人工智能倫理道德和可持續(xù)人工智能的行業(yè)、國(guó)家及國(guó)際標(biāo)準(zhǔn)的制訂，與多個(gè)國(guó)內(nèi)及多邊機(jī)構(gòu)就人工智能的可持續(xù)及倫理發(fā)展開(kāi)展了密切合作。商湯《AI可持續(xù)發(fā)展道德準(zhǔn)則》被聯(lián)合國(guó)人工智能戰(zhàn)略資源指南選錄，并于2021年6月發(fā)表，是亞洲唯一獲此殊榮的人工智能公司。
目前，商湯科技已于香港交易所主板掛牌上市。商湯在香港、上海、北京、深圳、成都、杭州、西安、新加坡、曼谷、吉隆坡、利雅得、阿布扎比、迪拜、首爾等地設(shè)立辦公室。 另外，商湯科技在德國(guó)、泰國(guó)、印度尼西亞、菲律賓等國(guó)家均有業(yè)務(wù)。更多信息，請(qǐng)?jiān)L問(wèn)商湯科技網(wǎng)站、微信、微博和領(lǐng)英。
本文鏈接：http://jphkf.cn/news-14-10463-0.html想法流x商湯科技大裝置：端到端全棧賦能，造就現(xiàn)象級(jí)應(yīng)用
聲明：本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
點(diǎn)擊右上角
微信好友
朋友圈
點(diǎn)擊瀏覽器下方“
”分享微信好友Safari瀏覽器請(qǐng)點(diǎn)擊“
”按鈕
點(diǎn)擊右上角
QQ
點(diǎn)擊瀏覽器下方“”分享QQ好友Safari瀏覽器請(qǐng)點(diǎn)擊“”按鈕
