谷歌近日發(fā)布其大模型矩陣的最新力作——Gemini 1.5，并將上下文窗口長度擴(kuò)展到100萬個tokens。
Gemini 1.5 Pro達(dá)到了與1.0 Ultra相當(dāng)?shù)馁|(zhì)量，同時使用了更少的計算。該模型在長語境理解方面取得突破，能夠顯著增加模型可處理的信息量——持續(xù)運行多達(dá)100萬個tokens，實現(xiàn)迄今任何大型基礎(chǔ)模型中最長的上下文窗口。
這意味著Gemini 1.5 Pro可一次處理大量的信息——包括1小時的視頻、11小時的音頻、超過3萬行代碼或超過70萬字的代碼庫。
從今天開始，谷歌將通過AI Studio和Vertex AI向開發(fā)者和企業(yè)客戶提供Gemini 1.5 Pro的有限預(yù)覽版。
此外，谷歌透露其在研究中還成功測試了多達(dá)1000萬個tokens。
AI模型的“上下文窗口”由tokens組成，這些tokens是用于處理信息的構(gòu)建塊。上下文窗口越大，它在給定的提示中可接收和處理的信息就越多，從而使其輸出更加一致、相關(guān)和有用。
通過一系列機(jī)器學(xué)習(xí)創(chuàng)新，谷歌將上下文窗口容量大大增加，從Gemini 1.0最初的32,000個tokens，增加到1.5 Pro的100萬個tokens。
Gemini 1.5 Pro帶有標(biāo)準(zhǔn)的128,000個tokens的上下文窗口。從今天開始，有限的開發(fā)人員和企業(yè)客戶可通過AI Studio和Vertex AI在私有預(yù)覽中試用多達(dá)100萬個tokens的上下文窗口。當(dāng)推出完整的100萬個tokens上下文窗口，谷歌正在積極地進(jìn)行優(yōu)化，以改善延遲，減少計算需求并增強(qiáng)用戶體驗。
Gemini 1.5構(gòu)建于谷歌對Transformer和MoE架構(gòu)的研究基礎(chǔ)之上。傳統(tǒng)的Transformer是一個大型神經(jīng)網(wǎng)絡(luò)，而MoE模型被分成更小的“專家”神經(jīng)網(wǎng)絡(luò)。
根據(jù)給定的輸入類型，MoE模型學(xué)會選擇性地激活其神經(jīng)網(wǎng)絡(luò)中最相關(guān)的專家路徑。這種專業(yè)化極大地提高了模型的效率。谷歌一直是深度學(xué)習(xí)的MoE技術(shù)的早期采用者和研發(fā)先驅(qū)。
谷歌在模型架構(gòu)上的最新創(chuàng)新使Gemini 1.5能夠更快地學(xué)習(xí)復(fù)雜的任務(wù)并保持質(zhì)量，同時更有效地進(jìn)行訓(xùn)練和服務(wù)。這正幫助其團(tuán)隊以更快的速度迭代、訓(xùn)練和交付更先進(jìn)的Gemini版本。
原創(chuàng)文章，作者：潮玩君，如若轉(zhuǎn)載，請注明出處：http://2079x.cn/article/630693.html
