2月16日，OpenAI再次扔出一枚深水炸彈，發(fā)布了首個文生視頻模型Sora。據(jù)介紹，Sora可以直接輸出長達60秒的視頻，并且包含高度細致的背景、復雜的多角度鏡頭，以及富有情感的多個角色。
目前官網(wǎng)上已經(jīng)更新了48個視頻demo，在這些demo中，Sora不僅能準確呈現(xiàn)細節(jié)，還能理解物體在物理世界中的存在，并生成具有豐富情感的角色。該模型還可以根據(jù)提示、靜止圖像甚至填補現(xiàn)有視頻中的缺失幀來生成視頻。
例如一個Prompt（大語言模型中的提示詞）的描述是：在東京街頭，一位時髦的女士穿梭在充滿溫暖霓虹燈光和動感城市標志的街道上。
在Sora生成的視頻里，女士身著黑色皮衣、紅色裙子在霓虹街頭行走，不僅主體連貫穩(wěn)定，還有多鏡頭，包括從大街景慢慢切入到對女士的臉部表情的特寫，以及潮濕的街道地面反射霓虹燈的光影效果。
另一個Prompt則是，一只貓試圖叫醒熟睡的主人，要求吃早餐，主人試圖忽略這只貓，但貓嘗試了新招，最終主人從枕頭下拿出藏起來的零食，讓貓自己再多待一會兒。在這個AI生成視頻里，貓甚至都學會了踩奶，對主人鼻頭的觸碰甚至都是輕輕的，接近物理世界里貓的真實反應。
OpenAI表示，他們正在教AI理解和模擬運動中的物理世界，目標是訓練模型來幫助人們解決需要現(xiàn)實世界交互的問題。
隨后OpenAI解釋了Sora的工作原理，Sora是一個擴散模型，它從類似于靜態(tài)噪聲的視頻開始，通過多個步驟逐漸去除噪聲，視頻也從最初的隨機像素轉(zhuǎn)化為清晰的圖像場景。Sora使用了Transformer架構(gòu)，有極強的擴展性。
視頻和圖像是被稱為“補丁”的較小數(shù)據(jù)單位集合，每個“補丁”都類似于GPT中的一個標記（Token），通過統(tǒng)一的數(shù)據(jù)表達方式，可以在更廣泛的視覺數(shù)據(jù)上訓練和擴散變化，包括不同的時間、分辨率和縱橫比。
Sora是基于過去對DALL·E和GPT的研究基礎(chǔ)構(gòu)建，利用DALL·E 3的重述提示詞技術(shù)，為視覺模型訓練數(shù)據(jù)生成高描述性的標注，因此模型能更好的遵循文本指令。
對于Sora當前存在的弱點，OpenAI指出它可能難以準確模擬復雜場景的物理原理，并且可能無法理解因果關(guān)系。該模型還可能混淆提示的空間細節(jié)，例如混淆左右，并且可能難以精確描述隨著時間推移發(fā)生的事件，例如遵循特定的相機軌跡。
以此次發(fā)布的DEMO“與中國龍一起慶祝農(nóng)歷新年的視頻”為例，Sora無法準確生成視頻畫面中的中文受到了網(wǎng)友的關(guān)注。有相關(guān)人士對此調(diào)侃道：“莫非是中文太難了？”
但是任何事件的發(fā)生都是從無到有，再從有到精的過程。據(jù)悉，Sora如今正面向部分用戶開放，以評估關(guān)鍵領(lǐng)域的潛在危害或風險。同時，OpenAI也邀請了一批視覺藝術(shù)家、設(shè)計師和電影制作人加入，期望獲得寶貴反饋，以推動模型進步，更好地助力創(chuàng)意工作者。OpenAI提前分享研究進展，旨在與OpenAI以外的人士合作并獲取反饋，讓公眾了解即將到來的AI技術(shù)新篇章。
原創(chuàng)文章，作者：潮玩君，如若轉(zhuǎn)載，請注明出處：http://2079x.cn/article/630773.html
