加拿大Cohere發(fā)布輕量AI模型Command A 兩塊GPU即可驅(qū)動(dòng)

加拿大Cohere發(fā)布輕量AI模型Command A 兩塊GPU即可驅(qū)動(dòng)

加拿大人工智能初創(chuàng)企業(yè)Cohere于昨日正式推出輕量化大語言模型Command A。該產(chǎn)品主打低硬件配置部署,公司宣稱僅需配備兩塊英偉達(dá)A100或H100顯卡即可運(yùn)行,現(xiàn)已在Hugging Face平臺(tái)開放學(xué)術(shù)機(jī)構(gòu)測試。

據(jù)技術(shù)文檔顯示,Command A支持256k超長上下文處理及23種語言交互,適用于數(shù)據(jù)分析、客戶服務(wù)等企業(yè)場景。在速度測試中,該模型實(shí)現(xiàn)每秒156個(gè)token的生成效率,較GPT-4o提升75%。企業(yè)強(qiáng)調(diào),該產(chǎn)品專為算力資源有限的中小企業(yè)設(shè)計(jì),較傳統(tǒng)大模型減少94%的硬件投入。

Cohere技術(shù)團(tuán)隊(duì)在演示中對比顯示,執(zhí)行SQL查詢生成任務(wù)時(shí),Command A在雙顯卡環(huán)境下的響應(yīng)速度與需要32塊顯卡的競品模型持平。在工具調(diào)用準(zhǔn)確性測試中,其醫(yī)療診斷指令追蹤準(zhǔn)確率達(dá)到89%,金融數(shù)據(jù)分析誤差率控制在2%以內(nèi)。

值得關(guān)注的是,該模型特別優(yōu)化了延遲控制,在連續(xù)對話場景中保持800毫秒內(nèi)的響應(yīng)速度。企業(yè)透露,已有加拿大連鎖零售集團(tuán)將該模型應(yīng)用于實(shí)時(shí)庫存管理系統(tǒng),成功將數(shù)據(jù)處理時(shí)長從45分鐘壓縮至8分鐘。

目前,Command A的1.0版本已部署在Hugging Face平臺(tái),提供免費(fèi)學(xué)術(shù)授權(quán)。企業(yè)計(jì)劃于今年第三季度在AWS、Azure等主流云平臺(tái)上線商用版本,并承諾保持基礎(chǔ)版永久免費(fèi)。行業(yè)數(shù)據(jù)顯示,這是首個(gè)實(shí)現(xiàn)雙顯卡部署的百億參數(shù)級(jí)大語言模型。

此次發(fā)布恰逢全球AI算力成本攀升節(jié)點(diǎn),微軟、谷歌等科技巨頭近期相繼上調(diào)云服務(wù)價(jià)格。Cohere首席執(zhí)行官艾丹·戈麥斯表示,Command A系列后續(xù)將推出移動(dòng)端適配版本,進(jìn)一步降低企業(yè)AI應(yīng)用門檻。

原創(chuàng)文章,作者:AI,如若轉(zhuǎn)載,請注明出處:http://2079x.cn/article/710360.html

AI的頭像AI認(rèn)證作者

相關(guān)推薦

發(fā)表回復(fù)

登錄后才能評(píng)論