近日，科技巨頭谷歌旗下的DeepMind團隊發(fā)布了一項革命性的新技術——Mixture-of-Depths（MoD）。這一全新架構徹底改變了傳統(tǒng)的Transformer計算模式，以其獨特的動態(tài)資源分配機制，在人工智能領域引起了廣泛關注。
MoD的核心思想是通過動態(tài)分配大型模型中的浮點運算次數（FLOPs），優(yōu)化不同模型深度層次的資源分配。在傳統(tǒng)的Transformer架構中，每個層次的計算資源是固定的，無論處理的信息復雜程度如何，都會進行相同的計算量。然而，這種方法在處理不同難度任務時顯得不夠靈活，往往會導致計算資源的浪費。
MoD通過限制給定層的自注意力和多層感知器（MLP）計算的token數量，實現了更為精細的計算資源管理。它能夠在處理每個任務時，根據任務的難易程度動態(tài)調整計算深度。這意味著，在處理簡單任務時，MoD可以跳過一些不必要的計算層次，從而節(jié)省計算資源；而在處理復雜任務時，它又能夠集中更多資源在關鍵層次上，以確保任務的準確完成。
這種動態(tài)分配機制使得神經網絡能夠學會主要關注真正重要的信息。例如，在自然語言處理任務中，預測下一個句子的內容可能需要大量的計算資源，因為這其中涉及到復雜的語義理解和推理；而預測句子結束的標點符號則相對簡單，不需要過多的計算。在傳統(tǒng)的Transformer架構中，這兩類任務可能會分配相同的計算資源，這無疑是對資源的極大浪費。而MoD則能夠智能地分配更多的資源給復雜任務，同時減少簡單任務的資源消耗。
據谷歌方面發(fā)布的相關測試結果顯示，MoD架構在保持等效計算量和訓練時間的前提下，每次向前傳播所需的計算量更小。這意味著在相同的硬件條件下，使用MoD架構可以處理更多的任務，從而提高了整體的工作效率。此外，在后訓練采樣過程中，MoD還展現出了顯著的步進速度提升，達到了50%以上。
除了在計算資源分配上的創(chuàng)新外，谷歌研究團隊還進一步探討了MoD與Mixture-of-Experts（MoE）結合的可能性，這種結合被命名為MoDE。MoE是一種通過集成多個專家模型來提高整體性能的技術。當MoD與MoE相結合時，可以充分發(fā)揮兩者的優(yōu)勢，實現更高的性能和更快的推理速度。這種結合為人工智能領域的發(fā)展帶來了新的可能性。
值得一提的是，谷歌在AI技術的研發(fā)上并不僅限于提高計算效率和性能。為了解決AI幻覺問題——即AI在某些情況下會產生與事實不符的輸出，谷歌DeepMind還與斯坦福大學聯合開發(fā)了一款名為“搜索增強事實評估器”（Search-Augmented Factuality Evaluator，SAFE）的AI事實核查工具。
SAFE通過四個步驟對AI聊天機器人生成的回復進行分析、處理和評估，以驗證其準確性和真實性。這一工具首先將回復分割成多個單個待核查內容，并對上述內容進行修正。然后，它將這些內容與谷歌搜索結果進行比較，以檢查其一致性。此外，SAFE還會檢查各個事實與原始問題的相關性，從而確保回復的準確性和有用性。
為了評估SAFE的性能，谷歌研究人員創(chuàng)建了包含約16000個事實的數據集LongFact，并在多個大語言模型上進行了測試。結果顯示，在對100個有爭議事實進行的重點分析中，SAFE的判定在進一步審查下正確率達到了76%。這一結果表明，SAFE在提高AI輸出準確性方面具有顯著的效果。同時，SAFE還具備顯著的經濟性優(yōu)勢。與傳統(tǒng)的人工注釋相比，使用SAFE進行事實核查的成本要低得多，這使得它成為一種實用且高效的AI質量保障工具。這些技術不僅提高了AI的計算效率和性能，還加強了AI輸出的準確性和真實性核查能力。隨著這些技術的不斷發(fā)展和完善，我們有理由相信人工智能將在未來發(fā)揮更加廣泛和深入的作用。
原創(chuàng)文章，作者：潮玩君，如若轉載，請注明出處：http://2079x.cn/article/644435.html
