OpenAI 推出 Sora:一款顛覆性的 AI 視訊產生器

在如今這個由影片驅動的世界裡,影片創作和編輯工具變得越來越重要。然而,影片編輯仍然複雜且耗時,尤其對於初學者而言。

隨著人工智慧發展的速度超出人類的理解範圍,OpenAI 的 Sora 可以將文字提示轉換為視頻,這只是最新的人工智慧技術,它讓世界震驚地意識到事情發生的速度比任何人預期的都要快。

OpenAI Sora 是一項創新技術,旨在以高效創新的方式轉換和編輯影片。該模型引發了人們對其對影片產業的影響的思考,它能否徹底改變影片的製作和編輯方式?在本文中,我們將探討 OpenAI Sora 的概念和潛力,分析它如何影響影片產業,以及這項創新對使用者和創作者的意義。查看 最佳基於人工智慧的視訊產生器(文字轉視訊).

OpenAI Sora 是什麼?

就像 DALL-E 和 MidJourney 等其他生成式 AI 模型一樣,Sora 會接收你的文字提示,並將其轉換為視覺媒體。然而,與上述 AI 驅動的圖像生成器不同的是,Sora 會生成完整的視頻,其中包含動作、不同的攝影機角度、方向以及傳統視頻製作所需的一切元素。

查看範例 Sora 網站最終結果往往與真實的專業影片難以區分。從複雜的無人機鏡頭,到耗資數百萬美元、由演員演出的完整電影,再到人工智慧生成的特效等等,應有盡有。

當然,Sora 並非第一個實現這一目標的技術。到目前為止,該領域最明顯的領先者是 跑道ML,該公司向公眾提供收費服務。然而,即使在最好的情況下,Runway 影片也更接近第一代 旅途中劇照沒有影像穩定功能,物理原理也說不通,當我寫這篇文章時,最長的片段大約有 16 秒長。

相較之下,Sora 所能展現的最佳價值是完全穩定,物理原理看起來正確(至少在我們的大腦看來),而且影片片段最長可達一分鐘。這些片段完全沒有音頻,但已經有其他 AI 系統可以做到 音樂生成 以及音效和語音。所以我毫不懷疑這些工具可以整合到 Sora 的工作流程中,或至少可以整合到傳統的配音和擬音工作中。查看 最有趣、最值得一試的人工智慧工具.

Sora 與一年前噩夢般的 AI 影片片段相比,代表著巨大的飛躍,這一點毋庸置疑。就像 威爾史密斯吃義大利麵我認為這對系統的衝擊比人工智慧圖像生成器從一個笑話變成在視覺藝術家心中灌輸存在主義恐懼更大。

Sora 可能會影響整個影片產業,從單鏡頭創作者到迪士尼和漫威的巨額預算項目。沒有什麼能夠逃脫這一點。我認為這尤其正確,因為 Sora 不需要憑空創造,而是可以利用現有素材,例如將你提供的靜態圖像製作成動畫。這可能是 AI 電影製作的真正開端。

索拉如何運作?

我們會盡可能深入地探究 Sora 的性格,但不可能講得那麼詳細。首先,諷刺的是,OpenAI 並未公開其技術的內部運作。它是專有的,所以我們對 Sora 區別於競爭對手的秘訣一無所知。其次,我不是電腦科學家,你可能也不是,所以我們只能從廣義上理解這項技術的工作原理。

好消息是,Sora 有一個很棒的解釋(受訂閱保護), 麥克楊 在Medium上,基於 OpenAI 的技術報告 這些內容已經詳細說明,我們一般人也能理解。雖然這兩份文件都值得一讀,但我們可以從中提煉出最重要的事實。

Sora 的建構借鑒了 OpenAI 在創建 ChatGPT 或 DALL-E 等模型時的經驗。 OpenAI 創新了 Sora 在視訊模型上的訓練方法,將影片分割成「patch」(類似於 ChatGPT 訓練模型使用的「token」)。由於這些 token 的大小均等,因此片段長度、寬高比和解析度等因素對 Sora 來說並不重要。

Sora 採用與 GPT 相同的廣義變換器方法,以及 AI 影像產生器所使用的擴散方法。在訓練過程中,它會查看影片中部分擴散的 token,並嘗試預測無噪音 token 的樣子。透過將其與真實情況進行比較,該模型可以學習影片的「語言」。這就是為什麼 Sora 網站 看起來非常原始。

除了這種驚人的能力之外,Sora 還在其訓練的視訊畫面中內建了高度詳細的註釋,這也是它能夠根據文字提示編輯其創建的影片的重要原因。

Sora 能夠精準模擬影片中的物理現象,這似乎是一項新興功能,它僅基於數百萬個包含基於現實世界物理運動的影片進行訓練而來。 Sora 擁有出色的物體穩定性;即使物體離開畫面或被畫面內的其他物體遮擋,它也能保持原位並返回,不受干擾。

然而,當影片中的物件與因果關係以及自動建立物件互動時,仍然偶爾會出現問題。此外,有趣的是,Sora 似乎時不時會分不清左右。儘管如此,迄今為止所展示的技術不僅已經可用,而且無疑處於技術前沿。

我什麼時候可以聯絡 Sora?

所以,我們都非常興奮地測試 Sora,你可以肯定我會使用它,並在它不向我們顯示選擇性結果的情況下寫下這項技術到底有多好,但什麼時候可以實現,會發生嗎?

截至本文撰寫時,尚不清楚 Sora 究竟需要多久才能對外開放,也不清楚其使用成本是多少。 OpenAI 表示,該模型由一支「紅隊」負責,這支團隊的任務是試圖讓 Sora 做所有它不應該做的壞事,然後幫助設置防護欄來阻止此類行為。當實際用戶開始使用它時,就會發生這種情況。這包括可能產生錯誤訊息、創造冒犯性或貶損性內容,以及人們能想到的許多其他濫用行為。

在撰寫本文時,它也掌握在精選內容創作者手中,我相信這是為了測試目的,並在我們最終發布之前獲得一些第三方的審查和批准。

歸根結底,我們實際上並不知道它何時可用,就像你可以付費使用 DALL-E 3 一樣。事實上,就連 OpenAI 也還沒有確定具體的日期。這只是因為,如果它在安全測試人員手中,他們可能會發現一些需要比預期更長時間才能修復的問題,從而推遲公開發布。

OpenAI 已經準備好展示 Sora,甚至透過 X(原 Twitter)發布了一些協調一致的公開聲明,這僅僅意味著該公司相信最終產品的品質已基本成熟。但在公眾對其有更清晰的認識、所提出的安全問題以及已發現的安全問題之前,沒有人能給出確切的答案。我認為我們談論的是幾個月,而不是幾年,但不要指望下週就能實現。現在就可以查看。 藝術家和創意人員的道德AI工具.

轉到頂部按鈕