寫在GTC之后：千億算力并非生成式AI創(chuàng)業(yè)障礙，新型芯片及算法可能會(huì)重寫壟斷格局

作者:邵旭輝,Foothill Ventures管理合伙人,在機(jī)器學(xué)習(xí)、大數(shù)據(jù)系統(tǒng)和軟件系統(tǒng)工程領(lǐng)域從事研發(fā)和管理工作多年,曾任雅虎廣告及大數(shù)據(jù)平臺(tái)工程副總裁、Turn CTO及ID Analytics副總裁。他持有清華大學(xué)自動(dòng)化學(xué)士學(xué)位及明尼蘇達(dá)大學(xué)EECS博士學(xué)位。

上個(gè)月的GTC后,生成式AI相關(guān)的討論久久不能平息,這個(gè)月Gen AI領(lǐng)域剛剛宣布的兩個(gè)高額融資消息也引發(fā)了大量關(guān)注:Augment以近10億美金的估值融資2.27億美金,Cognition則以20億美金估值融資1.75億美金。從文字chatbot到視頻生成、機(jī)器人,生成式AI的能力不斷拓展,應(yīng)用潮已經(jīng)開始,行業(yè)內(nèi)外,大家都很關(guān)心這個(gè)話題:AI將會(huì)帶我們到何處去?

作為AI、深度學(xué)習(xí)領(lǐng)域多年的從業(yè)者,曾經(jīng)的大公司管理者、創(chuàng)業(yè)者以及如今的深科技領(lǐng)域投資人,我在此拋磚引玉,談?wù)勎覍?duì)生成式AI發(fā)展的個(gè)人判斷。

本質(zhì)上,我認(rèn)為生成式AI的競(jìng)爭(zhēng)力根植于這三個(gè)維度:

一是算力及基礎(chǔ)設(shè)施,這也是許多大公司優(yōu)勢(shì)明顯的地方。

二是算法,當(dāng)然也意味著算法背后的人才。

第三則是數(shù)據(jù)及應(yīng)用場(chǎng)景,對(duì)創(chuàng)業(yè)公司來說,這一部分仍存在著大量機(jī)遇。

我們下面可以從這三個(gè)維度來生成式AI的未來。

Gen AI并非算力競(jìng)賽,創(chuàng)業(yè)公司的機(jī)會(huì)在這些領(lǐng)域

在算力方面,Nvidia是GPU的領(lǐng)頭羊、CUDA生態(tài)的開創(chuàng)者,具有巨大的優(yōu)勢(shì),但其實(shí),未來的生成式AI并非絕對(duì)以算力定成敗。

算力有限的創(chuàng)業(yè)公司或者科研機(jī)構(gòu),機(jī)遇主要在哪里呢?

首先,創(chuàng)業(yè)公司可以打造生成式AI的基礎(chǔ)設(shè)施,解決底層的問題。

幾乎所有的領(lǐng)域的公司,都在考慮自身在生成式AI方面的競(jìng)爭(zhēng)策略。在數(shù)據(jù)隱私/計(jì)算安全、

準(zhǔn)確性/可靠性、商業(yè)邏輯等等領(lǐng)域都會(huì)有很碎片化的的要求。而大廠的工具鏈服務(wù)鏈只能解決一部分需求,其他的就需要初創(chuàng)企業(yè)來填補(bǔ)。Lepton.AI、Corvic.AI、Fairly.AI 等都屬于這個(gè)范疇。這些創(chuàng)業(yè)企業(yè)搭建了機(jī)器學(xué)習(xí)領(lǐng)域的基礎(chǔ)架構(gòu),比如Corvic.AI,他們提供的解決方案讓復(fù)雜數(shù)據(jù)能較為簡(jiǎn)便地轉(zhuǎn)化為可用的企業(yè)級(jí)AI,提供預(yù)測(cè)分析、AI助手、數(shù)據(jù)標(biāo)簽等功能。

其次,雖然大公司在算力方面擁有優(yōu)勢(shì),創(chuàng)業(yè)公司可以將目光投向?qū)I(yè)領(lǐng)域——對(duì)于這些領(lǐng)域來說,持續(xù)積累的專業(yè)數(shù)據(jù)將會(huì)有著不可替代的價(jià)值,其中的行業(yè)壁壘、合規(guī)等方面的積累也能形成一定的護(hù)城河。

而更重要的是,不少領(lǐng)域(比如生物醫(yī)藥、網(wǎng)絡(luò)安全、科研、制造)的底層邏輯和大模型擅長(zhǎng)的語言文字視頻并不相近,無法直接套用,也不容易簡(jiǎn)單的做二次開發(fā)就能獲得好的結(jié)果。

從另一個(gè)角度來說,大模型也同樣打開了許多新機(jī)遇,過去一些離商業(yè)化較遠(yuǎn)的領(lǐng)域可能忽然就有前進(jìn)的動(dòng)力了,其中往往會(huì)有創(chuàng)業(yè)公司的機(jī)會(huì)。

文初提到的AI寫代碼就是一個(gè)新出現(xiàn)的機(jī)遇,這兩家企業(yè)都是近年來發(fā)展迅速的AI公司,Cognition的創(chuàng)立時(shí)間才剛剛半年。我們也投資了一個(gè)同類別的公司Metabob,通過AI來幫助人們找程序中的bug并修復(fù)它們。這類企業(yè)在AI與軟件工程的交叉點(diǎn)找到了自己的市場(chǎng)。

近期機(jī)器人的熱潮也是個(gè)很好的例子。

過去傳統(tǒng)機(jī)器人往往只能解決單個(gè)任務(wù),機(jī)器人的傳感器、成本投入都有限,也限制了它的發(fā)展。

隨著LLM的發(fā)展,機(jī)器人能夠在虛擬空間通過強(qiáng)化學(xué)習(xí)(reinforcement learning)來進(jìn)行學(xué)習(xí)、迭代、完成復(fù)雜任務(wù),帶來了一系列連鎖反應(yīng)——企業(yè)愿意開發(fā)擁有成本更高、能力更強(qiáng)機(jī)器人,這一行業(yè)也有了更多的想象空間與投入。斯坦福大學(xué)李飛飛教授參與的團(tuán)隊(duì)也構(gòu)建了類似于當(dāng)年ImageNet的針對(duì)虛擬空間訓(xùn)練測(cè)試機(jī)器人的基于物理模型的大規(guī)模訓(xùn)練場(chǎng)景。

今年3月,機(jī)器人公司Figure與OpenAI合作發(fā)布的視頻引發(fā)了很多關(guān)注:金屬覆身的機(jī)器人接入了OpenAI的大語言模型,能夠迅速理解人類的意圖并做出相應(yīng)的動(dòng)作,包括整理、準(zhǔn)確放置物品以及完成一些相對(duì)模糊的指令——一名男子對(duì)Figure01“給我找個(gè)吃的”,機(jī)器人略思索后,拿起了桌上的蘋果,并遞給了他。值得注意的是,桌上還有四散的碗盤、瀝水架等,蘋果是唯一一個(gè)可食用的物品,這個(gè)簡(jiǎn)單的動(dòng)作涉及了推理與思考過程,加上之前整理、收納,機(jī)器人展現(xiàn)了完成多個(gè)復(fù)雜任務(wù)的能力。

除了Figure01外,ChatGPT引領(lǐng)的大模型風(fēng)潮下,各類引入了LLM的機(jī)器人正在涌現(xiàn):University of Michigan的學(xué)者也發(fā)布了基于大語言模型,能夠更好地理解3D環(huán)境的家用機(jī)器人。在工業(yè)、農(nóng)業(yè)、醫(yī)療等領(lǐng)域,可以想象,新型的 機(jī)器人會(huì)帶來很多的新變化。

新型芯片及算法可能會(huì)重寫壟斷格局

目前,在生成式AI的算法方面,呈現(xiàn)NVidia、OpenAI、Microsoft三巨頭壟斷的格局。不過在我看來,這樣的情況也會(huì)在技術(shù)進(jìn)展下面臨變化。

這并非我一家之言,可以說,幾乎是一個(gè)行業(yè)共識(shí),只是很難預(yù)測(cè)它具體的時(shí)間點(diǎn)。

今年GTC上,Transformer的原作小組首次聚集,八位作者中的七位與黃仁勛對(duì)話,而核心觀點(diǎn)就是:Transformer已經(jīng)夠老了,期待看到更新的模型。

作者之一、Cohere的創(chuàng)始人及CEO Gomez評(píng)論道:我想看到比Transformer好十倍的模型來替代它……Transformer在內(nèi)存占用和許多架構(gòu)方面都有優(yōu)化的可能性,比如一個(gè)非常長(zhǎng)的context是很昂貴、無法擴(kuò)展的,它的parameterization可能不必要那么長(zhǎng) ,我們可以壓縮許多倍,帶來指數(shù)級(jí)的縮小。

從仿生學(xué)的角度來說,這個(gè)觀點(diǎn)也很站得住腳——目前算法的功耗算力,跟自然界還有很大差距。

人的大腦功耗幾十瓦。昆蟲的大腦功耗是毫瓦/微瓦級(jí)的,神經(jīng)元數(shù)量極少,也能完成特別復(fù)雜的立體視覺、三維控制、捕獵逃生等感知相關(guān)的行為。同等情況下,如果讓電腦復(fù)現(xiàn)小動(dòng)物在自然界里識(shí)別、控制、捕獵、求生的能力,需要更先進(jìn)的模型,也一定會(huì)逐步出現(xiàn)更先進(jìn)的模型。

而未來更好的算法與模型也很可能意味著更多專用的、小型的芯片會(huì)迎來發(fā)展。

比如我們此前投資的D-matrix,主打存內(nèi)計(jì)算,預(yù)計(jì)將在2024大規(guī)模量產(chǎn),目前已經(jīng)有大量訂單。另一個(gè)模擬計(jì)算芯片設(shè)計(jì)企業(yè)Tetramem也備受關(guān)注,已經(jīng)發(fā)布了多篇Nature論文,

除此之外,開源的相對(duì)小型的transformer 模型(如Microsoft’s PHI-2 and Mistral 7B)也會(huì)迎來快速發(fā)展。在我看來,這些開源的小模型對(duì)于AI行業(yè)持續(xù)、健康的發(fā)展是很有必要的。這次AI的熱潮與以往的科技潮不同,大公司并未占據(jù)所有重要的研究方向——谷歌上市時(shí),許多大學(xué)就停止了對(duì)搜索算法的研究,因?yàn)楣雀枰呀?jīng)有了很好的團(tuán)隊(duì)和資源來推進(jìn)搜索算法。而生成式AI則不是,對(duì)于研究機(jī)構(gòu)而言,這些開源的小模型中還有很多值得探索的地方,目前所有名校的計(jì)算機(jī)系也都在積極研究開源模型。

甚至可以說,文初我提到的、未來我們期待的新的算法很可能就會(huì)從這些科研人員的工作中涌現(xiàn)。

GenAI發(fā)展的背后是人才之爭(zhēng)

這個(gè)對(duì)更新、更好的生成式AI算法的期待,也意味著另一件事:生成式AI的競(jìng)爭(zhēng)也意味著人才之爭(zhēng)。

目前,中美是在AI人才方面占據(jù)全球一二位置的兩個(gè)國家。

從絕對(duì)人數(shù)來說,中國占據(jù)了第一位——今年三月,紐約時(shí)報(bào)報(bào)道了一個(gè)追蹤AI相關(guān)人才的報(bào)告,中國有著全世界最多的AI本科生人才,而與三年前相比,如今在美國的頂級(jí)AI人才中,中國人的比例也已經(jīng)超過了美國人。比起過去,這些中國人才在美攻讀學(xué)位后,也更多地“回流”中國。

當(dāng)然,美國有著世界數(shù)量最多的一流大學(xué),與創(chuàng)新氣氛濃厚的科技企業(yè),也孕育出了將LLM石破天驚帶入大眾視野的Open AI,對(duì)各國的AI人才仍舊有著強(qiáng)烈的吸引力。

不可否認(rèn),基于天時(shí)地利人和等方面考慮,中美牢牢占據(jù)了未來AI發(fā)展綜合最優(yōu)的前二寶座。

在這個(gè)背景下,還有一個(gè)值得注意的趨勢(shì):人才的兩極分化。

由于AI+ 的杠桿作用越發(fā)明顯,創(chuàng)立一個(gè)優(yōu)秀的AI企業(yè)所需要的技術(shù)人才的數(shù)量比幾年前已經(jīng)顯著減少了。企業(yè)接下來對(duì)人才的競(jìng)爭(zhēng),會(huì)越來越集中于少數(shù)頂尖人才的爭(zhēng)奪。

無論在硅谷還是在北上杭,我們已經(jīng)看到頂級(jí)AI人才被高價(jià)爭(zhēng)搶,而普通大學(xué)生找不到工作的這種兩極分化,而這樣的趨勢(shì)未來也會(huì)更加明顯。

Gen AI將成萬億美元市場(chǎng),投資人如何入局?

從我和我身邊的創(chuàng)投從業(yè)者的角度看來,我們的共識(shí)是Gen AI的未來是光明的——Bloomberg Intelligence報(bào)告預(yù)測(cè),GenAI將成為未來十年發(fā)最迅速的市場(chǎng)之一,市場(chǎng)總量超過萬億美元,復(fù)合年增長(zhǎng)率超過40%。它變革性的能力會(huì)影響各行各業(yè)。

對(duì)于投資人而言,如果想要投資這個(gè)市場(chǎng),我有以下建議:

首先,投資生成式AI項(xiàng)目,本質(zhì)上仍舊是在深科技技術(shù)中尋找那些具有商業(yè)化潛力的項(xiàng)目。投資人最好能具備AI相關(guān)技術(shù)背景,并且保持持續(xù)學(xué)習(xí)及市場(chǎng)敏銳度。目前生成式AI的技術(shù)變化、突破、市場(chǎng)都在迅速發(fā)展。比如此前一些掛著大模型名號(hào)的項(xiàng)目,也許在ChatGPT某次更新后就會(huì)完全失去市場(chǎng),能夠識(shí)別這些項(xiàng)目,可以幫助規(guī)避許多風(fēng)險(xiǎn)。

其次,正如文初分析的,目前生成式AI的支柱分為人才/算法、算力、應(yīng)用/數(shù)據(jù)三大方向。作為投資人,前兩者的投資難度較大,然而應(yīng)用/數(shù)據(jù)中,有著大量的未來機(jī)遇,可以考慮投資一些相關(guān)資源。

比如應(yīng)用場(chǎng)景和應(yīng)用場(chǎng)景相關(guān)的數(shù)據(jù)——對(duì)于中國投資人來說,半導(dǎo)體 、新能源、先進(jìn)制造都是不錯(cuò)的方向。以制造業(yè)為例,擁有大量垂直行業(yè)內(nèi)的數(shù)據(jù),才能做出好的AI,指導(dǎo)未來的先進(jìn)制造。

從時(shí)間上來看,技術(shù)上如果不能特別確定 ,也可以等一下商業(yè)落地的信息,付出一些增值成本來換取更穩(wěn)定的信號(hào)。

有關(guān)AI,這個(gè)問題我常聽到:AI能最終代替人類嗎?

我認(rèn)為這要從不同尺度上去理解——我們究竟在討論的是AI從什么程度上在挑戰(zhàn)人類進(jìn)化?如果是生物體層面,這有著百萬年以上的積累,是最難的;從人類認(rèn)知層面,也至少有10萬年進(jìn)化橫亙?cè)贏I面前;而出現(xiàn)數(shù)千年的人類語言相對(duì)更容易;出現(xiàn)僅100年的計(jì)算機(jī)語言則最簡(jiǎn)單。

這個(gè)問題的答案當(dāng)然沒有定論。不過在這個(gè)最終將達(dá)萬億美元、改變?nèi)祟惿畹氖袌?chǎng)里,我很期待看到更多來自華人參與者的身影,不管是創(chuàng)業(yè)、投資,還是積極地?fù)肀墒紸I讓生活、工作變得更高效,它將前所未有地改變我們與世界交互的方式。