近日，NEAR聯(lián)創(chuàng)Illia出席了“2024香港Web3嘉年華”活動，并發(fā)表AI和Web3相關(guān)話題的重要演講。本文特對其演講進(jìn)行了整理，略有刪減。
大家好，我是NEAR的聯(lián)合創(chuàng)始人Illia，今天我們將討論為什么AI需要Web3。NEAR實際上起源于AI，在開始創(chuàng)業(yè)之旅之前，我在Google Research工作，專注于自然語言理解，也是谷歌深度學(xué)習(xí)框架TensorFlow的主要貢獻(xiàn)者之一。在一群同事的共同努力下，我們創(chuàng)造了首個“Transformers”模型，它帶來了我們現(xiàn)在看到的重大創(chuàng)新，推動了AI的發(fā)展，這也是GPT中的“T”的由來。
后來我離開谷歌創(chuàng)辦了NEAR。作為一家AI初創(chuàng)公司，我們會教機(jī)器編程，我們的方法之一是做大量的數(shù)據(jù)標(biāo)記，讓學(xué)生為我們創(chuàng)建數(shù)據(jù)，我們面臨著支付他們工資的問題，因為他們來自全球各地，他們中的一些人甚至沒有銀行賬戶。我們開始研究區(qū)塊鏈作為應(yīng)對方法，并意識到?jīng)]有什么能滿足我們的需求 ，即可擴(kuò)容、低費(fèi)用、易使用和易上手。也是在此時我們創(chuàng)建了NEAR協(xié)議。
對不熟悉的人說 ，語言模型并非新事物，它們從20世紀(jì)50年代就存在了。通用的統(tǒng)計模型允許對語言建模，并在各種應(yīng)用中使用它。對我來說 ，真正有趣的創(chuàng)新發(fā)生在2013年，當(dāng)時引入了詞嵌入，這個創(chuàng)意可以讓我們從“紐約”這樣的符號，新增到多維度的向量中并轉(zhuǎn)換為數(shù)學(xué)形式。這與深度學(xué)習(xí)模型配合得很好，它們只是大量的矩陣乘法和激活函數(shù)。
2013年后我加入谷歌。在2014年初，研究中使用的主要模型是RNN。它與人類一次閱讀一個單詞的方法相似，這有一個巨大的限制，如果你想閱讀多個文檔來回答一個問題，你將有一個相當(dāng)大的延遲，這在Google上的生產(chǎn)中使用是不可行的。
Transformer誕生于我們在解決RNN挑戰(zhàn)的過程中。我們嘗試?yán)糜嬎阒械牟⑿行?，它更多存在于硬件中，特別是在GPU中，幾乎可以消耗整個文檔 ，并嘗試同時理解它 ，而不需要一次執(zhí)行1個步驟，沒有這種瓶頸。這允許我們?yōu)镺penAI團(tuán)隊引入一個模型后，真正擴(kuò)展它，在非常大的語料庫上預(yù)訓(xùn)練它，這催生了我們今天看到的ChatGPT、Gemini和其他模型等重大創(chuàng)新。
現(xiàn)在我們看到AI出現(xiàn)了重大創(chuàng)新，而且這種創(chuàng)新還在加速。這些模型能夠進(jìn)行基本的推理，他們有常識。我們看到人們繼續(xù)挑戰(zhàn)這些模型的極限。我認(rèn)為，重要的是，在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域有人在解釋結(jié)果?，F(xiàn)在有趣的是大語言模型能夠直接與人交流，并且能夠與其他應(yīng)用和工具進(jìn)行交互。所以現(xiàn)在我們有了技術(shù)手段可以繞過中間人來解釋結(jié)果。
對于那些不熟悉的人來說，當(dāng)我們談?wù)撨@些模型被GPU訓(xùn)練或被使用時 ，它們其實并不是游戲機(jī)GPU或加密挖礦GPU。這是一臺專業(yè)的超級計算機(jī)，一臺機(jī)器上通常有八個GPU，它們具有巨大的競爭能力。這些機(jī)器被堆放在架子上，這些機(jī)架大多部署在數(shù)據(jù)中心。你訓(xùn)練相當(dāng)大的模型如Groq，花費(fèi)3個月的時間，動用10,000個H100。租借設(shè)備將花費(fèi)你6,400萬美元。更重要的是，除了計算本身之外還有連接性。
這里的一個重要部分是A100，特別是H100，通過每秒900千兆字節(jié)的連接速度連接。所以作為參考，你的CPU到RAM，以每秒9千兆字節(jié)的速度連接。在數(shù)據(jù)中心機(jī)架中的兩個節(jié)點(diǎn)/兩個GPU之間移動數(shù)據(jù)實際上比將數(shù)據(jù)從GPU移動到CPU更快，特別是現(xiàn)在我們還在努力改進(jìn)Blackwell，其連接速度有望翻倍，達(dá)到每秒1,800千兆字節(jié)，這種硬件連接速度是瘋狂的，它允許我們不把這些設(shè)備看作獨(dú)立設(shè)備。因為從程序員的角度來看，它們感覺像是一個單一的操作。當(dāng)你大規(guī)模構(gòu)建系統(tǒng)時，有很多需要注意。這個想法是這些是高度連接的設(shè)備，本地網(wǎng)絡(luò)上的正常連接是每秒100兆字節(jié)，所以大約比這低一萬倍。
現(xiàn)在由于對訓(xùn)練的這種要求，我們現(xiàn)在看到封閉的AI模型正在興起。即使模型權(quán)重是開源的，我們實際上仍然不知道模型中加入了什么。這很重要，因為這些模型實際上是關(guān)于從數(shù)據(jù)中學(xué)習(xí)偏向的。有人開玩笑說，模型其實只是權(quán)重和偏向，這就是模型的表現(xiàn)方式?，F(xiàn)在除了工程師之外，還有許多團(tuán)隊通過修改數(shù)據(jù)集來決定進(jìn)入模型的內(nèi)容，因為某些原因決定某些內(nèi)容不應(yīng)該出現(xiàn)在數(shù)據(jù)中。然后在模型產(chǎn)生之后，對其進(jìn)行后期處理并改變系統(tǒng)提示，來決定這個模型將會推理什么。尤其危險的是，我們并不知道這個模型是如何產(chǎn)生的。
我們也看到了AI正在迎來大規(guī)模的抗議和訴訟。因為從數(shù)據(jù)的使用到這些模型如何產(chǎn)生結(jié)果，到這些公司對分發(fā)平臺的權(quán)力，都容易引起爭議。模型本身成為了分發(fā)平臺，我們由此面臨著巨大的風(fēng)險。顯然監(jiān)管機(jī)構(gòu)正試圖管制我們，想辦法限制不良行為者的訪問，這使開放模型和去中心化方法更難存在。開源沒有足夠的經(jīng)濟(jì)動力，因此導(dǎo)致公司可能開始開源，然后在試圖賺錢的過程中限制開源其模型 ，以獲得更多的資本來購買算力，訓(xùn)練更大的模型。
生成式AI正在成為大規(guī)模操縱人們的工具，大公司的經(jīng)濟(jì)狀況總會導(dǎo)致激勵機(jī)制扭曲。在你實現(xiàn)了你的目標(biāo)市場份額后，你將繼續(xù)展示收入增長。你需要增加每個用戶貢獻(xiàn)的平均收入，所以你需要從用戶身上獲取更多的價值，這就是開源AI的所有情況。使用Web3作為一種工具來激勵人們，可以為人們創(chuàng)造機(jī)會，同時也為人們創(chuàng)造足夠的計算和數(shù)據(jù)資源，使人們建立有競爭力的模型。
我們需要讓大量AI工具在Web3世界發(fā)揮作用，才能將其整合在一起，我將從數(shù)據(jù)、基礎(chǔ)設(shè)施和應(yīng)用層面，介紹其中的幾個部分。其中一個重要的部分是因為這些語言模型現(xiàn)在能夠直接與社會互動，它們能夠在整個廣泛的范圍內(nèi)，操縱和明顯地制造虛假信息。我想指出的是，AI在這里不是問題，因為這類事情以前就存在。重要的是我們需要利用密碼學(xué)和鏈上聲譽(yù)來解決這個問題。問題不在于AI生成這個或人類生成這個，關(guān)鍵是誰發(fā)布了它，它的源頭是什么，社區(qū)的意見是什么，這才是真正重要的。
另一方面，我們現(xiàn)在有代理。我們習(xí)慣把一切都稱為代理。但現(xiàn)實是，它們有相當(dāng)大的多樣性，可以有工具或自治代理，這可以是中心化的或去中心化的，例如ChatGPT是一個中心化的工具，而Llama模型是開源的。因此它們可以以中心化或去中心化的方式被使用，也可以讓去中心化模型只在用戶設(shè)備上運(yùn)行，而不需要區(qū)塊鏈或類似的東西。因為如果你在你的設(shè)備上運(yùn)行模型，你就可以保證它完全符合你的期望，有一種完全自治的去中心化AI治理，需要進(jìn)行驗證，比如當(dāng)它分配資金和做出重要決定時。
還有不同類型的專業(yè)化。比如prompt，你可以進(jìn)行zero shot，教Llama以特定的方式回應(yīng) ，你可以對特定數(shù)據(jù)進(jìn)行微調(diào)，以向模型添加更多知識?；蛘吣憧梢赃M(jìn)行檢索增強(qiáng)，以在用戶請求時添加某種背景信息。輸出也不必只是文本，它也可以是一個豐富的UI組件，它可以是一個直接的行動，在區(qū)塊鏈上做一些事情。
接下來是自主。它可以是一個工具 ，用來做你想做的事情；它也可以編寫自己的計劃并在其上執(zhí)行；它可以是一個連續(xù)的工作，你只需指定一個目標(biāo)；它可以是一個強(qiáng)化學(xué)習(xí)優(yōu)化，你只需指定一個指標(biāo)和一套標(biāo)準(zhǔn)和邊界；你讓模型不斷探索并找到增長的方法。
最后是基礎(chǔ)架構(gòu)。你可以使用中心化基礎(chǔ)架構(gòu)如OpenAI和Groq。你可以有一個分布式的本地模型，你可以有一個帶有概率的去中心化推理。有一個非常有趣的使用案例，我們從可編程貨幣轉(zhuǎn)向智能資產(chǎn)，這是資產(chǎn)行為由自然語言定義的地方，并且可能與真實世界，或與其他用戶交互。比如這可以使用能閱讀新聞的自然語言oracle，它可以根據(jù)正在發(fā)生的事情自動優(yōu)化策略。這里最大的注意事項是，當(dāng)前的語言模型對敵對行為并不健壯，因此很容易在各種事情上說服他們。
我們正處于十字路口，道路一側(cè)是一個封閉的AI世界，它將導(dǎo)致更多的操縱。監(jiān)管決策通常會導(dǎo)致這種情況，因為監(jiān)管機(jī)構(gòu)會要求越來越多的監(jiān)督，越來越多的KYC和越來越多的要求。只有大公司才能滿足這一要求。而創(chuàng)業(yè)公司 ，尤其是嘗試開源的創(chuàng)業(yè)公司，將沒有資源來進(jìn)行實際競爭，最后只能倒閉以及被大公司收購。我們開始看到這種情況的發(fā)生。
道路的另一側(cè)是開放的模型，我們有承諾和能力，以非盈利和開源的心態(tài)來執(zhí)行它，我們使用加密經(jīng)濟(jì)激勵創(chuàng)造機(jī)會和資源，這是具有競爭力的開源AI模型所必需的。NEAR正在努力在整個生態(tài)中做到這一點(diǎn)。AI is NEAR。在接下來的幾周里，我們會有更多的更新，歡迎大家關(guān)注我的推特和NEAR社交網(wǎng)站，了解更多更新，謝謝！
本文轉(zhuǎn)載自：marsbit，不代表科技訊之立場。原文鏈接：news.marsbit.co/20240411135844208659.html
