3月18日消息，據(jù)媒體報(bào)道，馬斯克的AI創(chuàng)企xAI正式宣布其大語(yǔ)言模型Grok-1已實(shí)現(xiàn)開(kāi)源，并向公眾開(kāi)放下載。
據(jù)了解，Grok-1是一款基于混合專家系統(tǒng)（Mixture-of-Experts，MoE）技術(shù)構(gòu)建的大語(yǔ)言模型，擁有3140億參數(shù)，遠(yuǎn)超OpenAI GPT-3.5的1750億。這是迄今參數(shù)量最大的開(kāi)源大語(yǔ)言模型，遵照Apache 2.0協(xié)議開(kāi)放模型權(quán)重和架構(gòu)。
xAI表示，Grok-1始終由xAI自行訓(xùn)練，其預(yù)訓(xùn)練階段于2023年10月完成。此次發(fā)布的是Grok-1預(yù)訓(xùn)練階段結(jié)束時(shí)的原始基礎(chǔ)模型檢查點(diǎn)，即該模型未經(jīng)過(guò)針對(duì)任何具體應(yīng)用的微調(diào)。
xAI的目的之一就是與OpenAI、谷歌、微軟等對(duì)手在大模型領(lǐng)域進(jìn)行競(jìng)爭(zhēng)，其團(tuán)隊(duì)來(lái)自O(shè)penAI、谷歌DeepMind、谷歌研究院、微軟研究院等諸多知名企業(yè)和研究機(jī)構(gòu)。
目前，xAI并沒(méi)有放出Grok-1的具體測(cè)試成績(jī)，它與其他公司的大模型之戰(zhàn)將成為業(yè)內(nèi)關(guān)注的焦點(diǎn)。
原創(chuàng)文章，作者：潮玩君，如若轉(zhuǎn)載，請(qǐng)注明出處：http://2079x.cn/article/637988.html
