華為8月12日正式發(fā)布AI推理創(chuàng)新技術(shù)UCM（推理記憶數(shù)據(jù)管理器）。據(jù)了解，作為一款以KV Cache為中心的推理加速套件，UCM融合了多類型緩存加速算法工具，分級管理推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù)，可擴大推理上下文窗口，實現(xiàn)高吞吐、低時延的推理體驗，降低每Token推理成本。華為計劃于2025年9月正式開源UCM，屆時將在魔擎社區(qū)首發(fā)，后續(xù)逐步貢獻給業(yè)界主流推理引擎社區(qū)，并共享給業(yè)內(nèi)所有Share Everything(共享架構(gòu))存儲廠商和生態(tài)伙伴。
本文鏈接：http://jphkf.cn/news-14-11683-0.html華為正式發(fā)布AI推理創(chuàng)新技術(shù)UCM 計劃于9月正式開源
聲明：本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。
點擊右上角
微信好友
朋友圈
點擊瀏覽器下方“
”分享微信好友Safari瀏覽器請點擊“
”按鈕
點擊右上角
QQ
點擊瀏覽器下方“”分享QQ好友Safari瀏覽器請點擊“”按鈕
