在華為開發(fā)者大會(HDC 2024)上,華為云CTO張宇昕正式發(fā)布了EMS彈性內(nèi)存存儲服務(wù)。這一服務(wù)主要為了解決當(dāng)前大模型訓(xùn)練與推理領(lǐng)域所面臨的“內(nèi)存墻”挑戰(zhàn),即單個神經(jīng)處理單元(NPU)的高帶寬內(nèi)存(HBM)容量限制,該問題長期制約著AI算力的高效利用。
華為云EMS的創(chuàng)新之處在于它在NPU卡與持久化存儲之間增設(shè)了一層彈性內(nèi)存存儲,運用Memory Pooling專利技術(shù),綜合顯存擴展、算力卸載和以存代算三大策略,有效打破了內(nèi)存瓶頸。具體來說:
顯存擴展:大模型推理中,由于模型太大,通常需要使用大量的NPU卡才能將模型參數(shù)裝下來進行推理,但是NPU的算力往往利用率不高。EMS將模型參數(shù)分層存儲在顯存和EMS,只用了一半的卡,就可存下萬億參數(shù)的大模型,NPU部署數(shù)量減少50%。
算力卸載:大模型推理過程中包括模型計算和KV相關(guān)計算,其中KV相關(guān)計算的顯存占用很大。EMS將KV相關(guān)計算的步驟卸載到EMS,而模型計算仍在NPU中進行,將AI推理性能提升了100%。
以存代算:大模型推理中為了節(jié)省顯存,歷史對話的KV Cache都不會保存,后續(xù)推理都只能重新計算,導(dǎo)致新推理的首Token時延超過1秒?，F(xiàn)在可以將歷史KV Cache保存在EMS里,供后續(xù)推理直接調(diào)用。優(yōu)化后推理首Token時延降低到0.2秒以內(nèi),優(yōu)化了80%。
目前,EMS彈性內(nèi)存存儲服務(wù)已在華為云官網(wǎng)上線,面向開發(fā)者與客戶開放。
本文轉(zhuǎn)載自：，不代表科技訊之立場。原文鏈接：http://news.cnmtpt.com/?Sid=9919261_3163W825275046
