近日，OpenAI硬件設(shè)施負(fù)責(zé)人Trevor Cai在Hot Chips 2024上發(fā)表了長(zhǎng)達(dá)一小時(shí)的演講，主題為“構(gòu)建可擴(kuò)展的AI基礎(chǔ)設(shè)施”。他指出，OpenAI的一項(xiàng)重要觀察結(jié)果是，擴(kuò)大規(guī)模可以產(chǎn)生更好、更有用的人工智能（AI）。
作為全球芯片行業(yè)影響力最大的會(huì)議之一，Hot Chips于每年8月份在斯坦福大學(xué)舉行。不同于其他行業(yè)會(huì)議以學(xué)術(shù)研究為主，Hot Chips是一場(chǎng)產(chǎn)業(yè)界的盛會(huì)，各大處理器公司會(huì)在每年的會(huì)上展現(xiàn)他們最新的產(chǎn)品以及在研的產(chǎn)品。
AI浪潮推動(dòng)數(shù)據(jù)中心激增，同時(shí)也伴隨著能源需求的激增。在這樣的背景下，此次的Hot Chips大會(huì)上，圍繞人工智能的議題比以往任何一屆都更加活躍。Trevor Cai的演講著眼于解決能源和算力之間的問(wèn)題，英特爾、IBM和英偉達(dá)等則是提出了更節(jié)能的技術(shù)方案。
摩根士丹利在8月份發(fā)布的研究中預(yù)測(cè)稱(chēng)，生成式AI的電力需求將在未來(lái)幾年內(nèi)每年飆升75%，預(yù)計(jì)到2026年，其消耗的能源量將與西班牙在2022年的消耗量相當(dāng)?？萍季揞^們?cè)撊绾螒?yīng)對(duì)能源挑戰(zhàn)？
聚焦“節(jié)能方案”
當(dāng)?shù)貢r(shí)間8月26日，一年一度的半導(dǎo)體企業(yè)盛會(huì)Hot Chips2024在斯坦福大學(xué)紀(jì)念禮堂舉行，今年是第36屆。
從會(huì)議第一天的情況來(lái)看，大部分的話題都集中在了更節(jié)能、安全且可擴(kuò)展的大規(guī)模AI服務(wù)器部署方案上。
OpenAI硬件負(fù)責(zé)人Trevor Cai發(fā)表了“可預(yù)測(cè)的擴(kuò)展和基礎(chǔ)設(shè)施”主題演講，談到了提升計(jì)算能力所帶來(lái)的可預(yù)測(cè)的擴(kuò)展效益，這也是OpenAI自成立之初就關(guān)注的重點(diǎn)。一個(gè)重要的觀察結(jié)果是，擴(kuò)大規(guī)模可以產(chǎn)生更好、更有用的人工智能?！懊看斡?jì)算量翻倍，都會(huì)得到更好的結(jié)果。模型的能力和計(jì)算資源的消耗是呈指數(shù)級(jí)別上升的。自2018年以來(lái)，行業(yè)中前沿模型的計(jì)算量每年增長(zhǎng)約4倍?！彼f(shuō)道。
最初，GPT-1只需幾周的時(shí)間完成訓(xùn)練。如今，它已經(jīng)擴(kuò)展到需要龐大的GPU集群。因此，OpenAI認(rèn)為AI的基礎(chǔ)建設(shè)需要大量投資，因?yàn)橛?jì)算能力的提升已經(jīng)產(chǎn)生了超過(guò)8個(gè)數(shù)量級(jí)的效益。
似乎是為了呼應(yīng)OpenAI的演講，各大公司的演講也不約而同地提到了大規(guī)模部署AI服務(wù)器的計(jì)劃方案。
IBM在大會(huì)上披露了即將推出的IBM Telum II處理器和IBM Spyre加速器的架構(gòu)細(xì)節(jié)。新技術(shù)旨在顯著擴(kuò)展下一代IBM Z大型機(jī)系統(tǒng)的處理能力，通過(guò)一種新的AI集成方法幫助加速傳統(tǒng)AI模型和大型語(yǔ)言 AI模型的協(xié)同使用。IBM特別強(qiáng)調(diào)這次更新的先進(jìn)I/O技術(shù)旨在降低能耗和數(shù)據(jù)中心占用空間。
英偉達(dá)也在大會(huì)上放出了最新的AI集群架構(gòu)Blackwell的相關(guān)消息。英偉達(dá)稱(chēng)，Blackwell擁有6項(xiàng)革命性技術(shù)，可支持多達(dá)10萬(wàn)億參數(shù)的模型進(jìn)行AI訓(xùn)練和實(shí)時(shí)大語(yǔ)言模型（LLM）推理。值得注意的是，英偉達(dá)的Quasar量化系統(tǒng)用于確定可以使用較低精度的內(nèi)容，從而減少計(jì)算和存儲(chǔ)。英偉達(dá)表示他們的宗旨就是在提高能源效率的同時(shí)為AI和加速計(jì)算性能提供新標(biāo)準(zhǔn)。
除此之外，英特爾、博通、海力士等公司的演講中均提到了更節(jié)能的技術(shù)方案。
能源需求激增
科技巨頭們著眼“更節(jié)能的”技術(shù)方案的根本原因在于，當(dāng)前人工智能熱潮正在增加更強(qiáng)大的處理器以及保持?jǐn)?shù)據(jù)中心冷卻所需的能源需求。
當(dāng)前，微軟、Alphabet和Meta等大型科技公司正在投資數(shù)十億美元建設(shè)數(shù)據(jù)中心基礎(chǔ)設(shè)施，以支持生成式人工智能，但數(shù)據(jù)中心的激增也伴隨著能源需求的激增。
據(jù)彭博社報(bào)道，僅去年，大型科技公司就向數(shù)據(jù)中心設(shè)施投入了約1050億美元。谷歌、蘋(píng)果和特斯拉等公司不斷通過(guò)新產(chǎn)品和服務(wù)增強(qiáng)AI能力。每項(xiàng)AI任務(wù)都需要巨大的計(jì)算能力，這意味著數(shù)據(jù)中心會(huì)消耗大量電力。國(guó)際能源署（IEA）預(yù)測(cè)，到2026年，全球數(shù)據(jù)中心每年使用的能源量將相當(dāng)于日本的電力消耗量。
Hugging Face的人工智能和氣候負(fù)責(zé)人Sasha Luccioni提到，雖然訓(xùn)練AI模型需要耗費(fèi)大量能源（例如，訓(xùn)練 GPT-3模型耗費(fèi)了大約1300兆瓦時(shí)的電力，而GPT-4的訓(xùn)練消耗是GPT3的50倍），但通常只進(jìn)行一次。然而，由于查詢(xún)量巨大，模型生成響應(yīng)可能需要更多能源。
例如，當(dāng)用戶(hù)向ChatGPT等AI模型提問(wèn)時(shí)，需要向數(shù)據(jù)中心發(fā)送請(qǐng)求，然后強(qiáng)大的處理器會(huì)生成響應(yīng)。這個(gè)過(guò)程雖然很快，但消耗的能量也是巨大的。根據(jù)艾倫人工智能研究所的數(shù)據(jù)，對(duì)ChatGPT進(jìn)行一次查詢(xún)所消耗的電量相當(dāng)于為燈泡點(diǎn)亮20分鐘，是簡(jiǎn)單Google搜索耗電量的10倍以上。
然而，全球的電力資源有限，而數(shù)據(jù)中心需要持續(xù)穩(wěn)定的電力供應(yīng)來(lái)運(yùn)行服務(wù)器和其他核心運(yùn)營(yíng)設(shè)備。如果能源供應(yīng)不穩(wěn)定，停機(jī)可能會(huì)給企業(yè)和其他用戶(hù)造成重大經(jīng)濟(jì)損失。此外，巨大的能源消耗也引發(fā)了人們對(duì)環(huán)境的擔(dān)憂(yōu)。
為應(yīng)對(duì)這一挑戰(zhàn)，科技公司們開(kāi)始尋找解決方案。
部分公司選擇更清潔且高效的能源供給，如核能。亞馬遜最近在美國(guó)賓夕法尼亞州東北部購(gòu)買(mǎi)了一個(gè)價(jià)值6.5億美元的核能數(shù)據(jù)中心園區(qū)設(shè)施，該設(shè)施將使用核反應(yīng)堆產(chǎn)生的高達(dá)40%的電力，最終使亞馬遜能夠減少對(duì)當(dāng)?shù)仉娋W(wǎng)的依賴(lài)。與此同時(shí)，微軟聘請(qǐng)了核專(zhuān)家來(lái)帶頭尋找這種替代電源。微軟還與核電站運(yùn)營(yíng)商簽訂了合同協(xié)議，為其位于弗吉尼亞州的一個(gè)數(shù)據(jù)中心提供電力。
除此之外，科技公司們不僅在前文所提到的一系列芯片節(jié)能技術(shù)進(jìn)行努力，也在其他硬件設(shè)施和技術(shù)上下足了功夫。
谷歌正在開(kāi)發(fā)人工智能專(zhuān)用芯片，例如張量處理單元（TPU），這些芯片針對(duì)人工智能任務(wù)進(jìn)行了優(yōu)化，而不是使用為游戲技術(shù)創(chuàng)建的圖形處理單元（GPU）。
英偉達(dá)針對(duì)Blackwell芯片的直接液體冷卻系統(tǒng)還宣布了一項(xiàng)研究，研究表明了如何重新利用從服務(wù)器中吸收的熱量并將其回收到數(shù)據(jù)中心。據(jù)英偉達(dá)估計(jì)，冷卻最多可減少數(shù)據(jù)中心設(shè)施耗電量的28%。
然而，威斯康星大學(xué)麥迪遜分校的教授辛克萊提醒，杰文斯悖論在這里依然適用?！疤岣呷斯ぶ悄艿男剩m然減少了單次能耗，但整體使用率的增加最終會(huì)導(dǎo)致總體能耗的上升?！毙量巳R解釋道。這個(gè)悖論不僅適用于19世紀(jì)的火車(chē)煤炭使用，同樣適用于當(dāng)今的人工智能和電力消耗。
原創(chuàng)文章，作者：蘋(píng)果派，如若轉(zhuǎn)載，請(qǐng)注明出處：http://2079x.cn/article/677605.html
