8 月 23 日消息，英偉達(dá)于 8 月 21 日發(fā)布博文，發(fā)布了 Mistral-NeMo-Minitron 8B 小語(yǔ)言 AI 模型，具備精度高、計(jì)算效率高等優(yōu)點(diǎn)，可在 GPU 加速的數(shù)據(jù)中心、云和工作站上運(yùn)行模型。
英偉達(dá)攜手 Mistral AI 上月發(fā)布開源 Mistral NeMo 12B 模型，在此基礎(chǔ)上英偉達(dá)再次推出更小的 Mistral-NeMo-Minitron 8B 模型，共 80 億個(gè)參數(shù)，可以在搭載英偉達(dá) RTX 顯卡的工作站上運(yùn)行。
英偉達(dá)表示通過(guò)寬度剪枝（width-pruning）Mistral NeMo 12B，并知識(shí)蒸餾（knowledge distillation）輕度重新訓(xùn)練后獲得 Mistral-NeMo-Minitron 8B，相關(guān)成果發(fā)表在《Compact Language Models via Pruning and Knowledge Distillation》論文中。
剪枝通過(guò)去除對(duì)準(zhǔn)確率貢獻(xiàn)最小的模型權(quán)重來(lái)縮小神經(jīng)網(wǎng)絡(luò)。在 “蒸餾” 過(guò)程中，研究小組在一個(gè)小型數(shù)據(jù)集上重新訓(xùn)練剪枝后的模型，以顯著提高通過(guò)剪枝過(guò)程而降低的準(zhǔn)確率。
就其規(guī)模而言，Mistral-NeMo-Minitron 8B 在語(yǔ)言模型的九項(xiàng)流行基準(zhǔn)測(cè)試中遙遙領(lǐng)先。這些基準(zhǔn)涵蓋了各種任務(wù)，包括語(yǔ)言理解、常識(shí)推理、數(shù)學(xué)推理、總結(jié)、編碼和生成真實(shí)答案的能力。附上相關(guān)測(cè)試結(jié)果如下：
參考
Lightweight Champ: NVIDIA Releases Small Language Model With State-of-the-Art Accuracy
Mistral-NeMo-Minitron 8B Foundation Model Delivers Unparalleled Accuracy
Compact Language Models via Pruning and Knowledge Distillation
原創(chuàng)文章，作者：科技探索者，如若轉(zhuǎn)載，請(qǐng)注明出處：http://2079x.cn/article/675651.html
