近日，科技巨頭谷歌旗下的DeepMind團(tuán)隊(duì)發(fā)布了一項(xiàng)革命性的新技術(shù)——Mixture-of-Depths（MoD）。這一全新架構(gòu)徹底改變了傳統(tǒng)的Transformer計(jì)算模式，以其獨(dú)特的動態(tài)資源分配機(jī)制，在人工智能領(lǐng)域引起了廣泛關(guān)注。
MoD的核心思想是通過動態(tài)分配大型模型中的浮點(diǎn)運(yùn)算次數(shù)（FLOPs），優(yōu)化不同模型深度層次的資源分配。在傳統(tǒng)的Transformer架構(gòu)中，每個層次的計(jì)算資源是固定的，無論處理的信息復(fù)雜程度如何，都會進(jìn)行相同的計(jì)算量。然而，這種方法在處理不同難度任務(wù)時(shí)顯得不夠靈活，往往會導(dǎo)致計(jì)算資源的浪費(fèi)。
MoD通過限制給定層的自注意力和多層感知器（MLP）計(jì)算的token數(shù)量，實(shí)現(xiàn)了更為精細(xì)的計(jì)算資源管理。它能夠在處理每個任務(wù)時(shí)，根據(jù)任務(wù)的難易程度動態(tài)調(diào)整計(jì)算深度。這意味著，在處理簡單任務(wù)時(shí)，MoD可以跳過一些不必要的計(jì)算層次，從而節(jié)省計(jì)算資源；而在處理復(fù)雜任務(wù)時(shí)，它又能夠集中更多資源在關(guān)鍵層次上，以確保任務(wù)的準(zhǔn)確完成。
這種動態(tài)分配機(jī)制使得神經(jīng)網(wǎng)絡(luò)能夠?qū)W會主要關(guān)注真正重要的信息。例如，在自然語言處理任務(wù)中，預(yù)測下一個句子的內(nèi)容可能需要大量的計(jì)算資源，因?yàn)檫@其中涉及到復(fù)雜的語義理解和推理；而預(yù)測句子結(jié)束的標(biāo)點(diǎn)符號則相對簡單，不需要過多的計(jì)算。在傳統(tǒng)的Transformer架構(gòu)中，這兩類任務(wù)可能會分配相同的計(jì)算資源，這無疑是對資源的極大浪費(fèi)。而MoD則能夠智能地分配更多的資源給復(fù)雜任務(wù)，同時(shí)減少簡單任務(wù)的資源消耗。
據(jù)谷歌方面發(fā)布的相關(guān)測試結(jié)果顯示，MoD架構(gòu)在保持等效計(jì)算量和訓(xùn)練時(shí)間的前提下，每次向前傳播所需的計(jì)算量更小。這意味著在相同的硬件條件下，使用MoD架構(gòu)可以處理更多的任務(wù)，從而提高了整體的工作效率。此外，在后訓(xùn)練采樣過程中，MoD還展現(xiàn)出了顯著的步進(jìn)速度提升，達(dá)到了50%以上。
除了在計(jì)算資源分配上的創(chuàng)新外，谷歌研究團(tuán)隊(duì)還進(jìn)一步探討了MoD與Mixture-of-Experts（MoE）結(jié)合的可能性，這種結(jié)合被命名為MoDE。MoE是一種通過集成多個專家模型來提高整體性能的技術(shù)。當(dāng)MoD與MoE相結(jié)合時(shí)，可以充分發(fā)揮兩者的優(yōu)勢，實(shí)現(xiàn)更高的性能和更快的推理速度。這種結(jié)合為人工智能領(lǐng)域的發(fā)展帶來了新的可能性。
值得一提的是，谷歌在AI技術(shù)的研發(fā)上并不僅限于提高計(jì)算效率和性能。為了解決AI幻覺問題——即AI在某些情況下會產(chǎn)生與事實(shí)不符的輸出，谷歌DeepMind還與斯坦福大學(xué)聯(lián)合開發(fā)了一款名為“搜索增強(qiáng)事實(shí)評估器”（Search-Augmented Factuality Evaluator，SAFE）的AI事實(shí)核查工具。
SAFE通過四個步驟對AI聊天機(jī)器人生成的回復(fù)進(jìn)行分析、處理和評估，以驗(yàn)證其準(zhǔn)確性和真實(shí)性。這一工具首先將回復(fù)分割成多個單個待核查內(nèi)容，并對上述內(nèi)容進(jìn)行修正。然后，它將這些內(nèi)容與谷歌搜索結(jié)果進(jìn)行比較，以檢查其一致性。此外，SAFE還會檢查各個事實(shí)與原始問題的相關(guān)性，從而確?；貜?fù)的準(zhǔn)確性和有用性。
為了評估SAFE的性能，谷歌研究人員創(chuàng)建了包含約16000個事實(shí)的數(shù)據(jù)集LongFact，并在多個大語言模型上進(jìn)行了測試。結(jié)果顯示，在對100個有爭議事實(shí)進(jìn)行的重點(diǎn)分析中，SAFE的判定在進(jìn)一步審查下正確率達(dá)到了76%。這一結(jié)果表明，SAFE在提高AI輸出準(zhǔn)確性方面具有顯著的效果。同時(shí)，SAFE還具備顯著的經(jīng)濟(jì)性優(yōu)勢。與傳統(tǒng)的人工注釋相比，使用SAFE進(jìn)行事實(shí)核查的成本要低得多，這使得它成為一種實(shí)用且高效的AI質(zhì)量保障工具。這些技術(shù)不僅提高了AI的計(jì)算效率和性能，還加強(qiáng)了AI輸出的準(zhǔn)確性和真實(shí)性核查能力。隨著這些技術(shù)的不斷發(fā)展和完善，我們有理由相信人工智能將在未來發(fā)揮更加廣泛和深入的作用。
原創(chuàng)文章，作者：潮玩君，如若轉(zhuǎn)載，請注明出處：http://2079x.cn/article/644435.html
