OpenAI 的Sora:它是什麼,它是如何工作的,以及其用例


人工智慧的興起始於ChatGPT的開發,這是一種基於提示提供文字資訊的生成模型。該模型吸引了所有人對生成式人工智慧的關注。接下來是基於文字提示和影像的影像生成。人工智慧領域的新時代革命是開發了一種基於使用者提供的描述生成影片的模型。


什麼是 OpenAI Sora?

OpenAI Sora 是 OpenAI 開發的一種人工智慧模型,它可以根據使用者提供的文字描述建立逼真且富有創意的影片。其主要目標是生成物理運動,以解決需要即時互動的問題。

這款文字轉影片模型於2024 年 2 月釋出。該工具目前尚未公開發布。OpenAI 正在採取措施防止生成有害和誤導性內容。

OpenAI Sora 的功能

OpenAI Sora 是生成式 AI 和多模態 AI 的一次革命。雖然它尚未公開發布,但其網站提到的模型的一些功能包括:

  • Sora 的核心能力之一是根據文字描述“提示”生成影片。
  • 它可以生成具有多個角色的複雜場景,這些角色具有特定的動作,並具有準確的背景和環境。
  • 該模型不僅根據使用者提供的提示進行生成,還嘗試複製這些事物在現實世界中存在的方式。
  • 該模型具有對自然語言的深入理解,可以準確地解釋提示。
  • 它還能夠在一個影片中建立多個鏡頭。
  • 此外,他們在將其提供給公眾之前採取了一些安全措施。他們正在構建工具來幫助檢測誤導性、有害和有偏見的內容。

OpenAI Sora 的應用

OpenAI Sora 的能力可以應用於各種創意和實踐領域:

  • 廣告和營銷 - 該模型可以幫助企業根據產品或服務的描述建立促銷影片和社交媒體內容。
  • 教育 - 教育工作者和教師可以使用 Sora 為特定概念建立互動式教育影片,以幫助學生理解。
  • 娛樂 - Sora 還可以用於根據提供的電影描述生成角色、背景和藝術場景的影片片段。它透過視覺化地呈現他們的想象力,為劇組提供了一個想法。
  • 影片原型設計 - 公司可以使用 Sora 在產品完全開發之前對概念進行視覺化和測試。例如,建立一個影片來展示服務、產品或介面的工作方式。
  • 故事板和概念創作 - 電影製作人或插畫家可以使用 Sora 透過提供文字描述在幾秒鐘內建立視覺故事板或概念藝術。

如何訪問 OpenAI Sora?

目前,OpenAI Sora 尚未公開發布。只有紅隊成員可以訪問它以評估風險和危害。OpenAI 還向一些平面設計師和視覺藝術家提供了訪問許可權,以評估模型的效率並獲得改進反饋。

OpenAI Sora 的工作原理

OpenAI Sora 的工作原理與大型語言模型 (LLM) 非常相似,其中模型是在網際網路規模的資料上進行訓練的。雖然 LLM 具有文字標記,但 Sora 具有視覺塊。將影片輸入模型,透過將影片壓縮到較低維度的潛在空間,然後將其分解成時空塊來將影片轉換成塊。

  • 該模型訓練一個網路以降低視覺資料的維度。將原始影片輸入網路,輸出為潛在表示。
  • 當提供壓縮影片時,網路會提取一系列時空塊,這些塊充當轉換器標記。
  • Sora 是一個擴散模型。當給定噪聲塊作為輸入時,網路會解釋並將它們轉換為乾淨的塊。
  • 該模型的開發方式使得輸入不一定是文字描述,也可以是影片或影像。

OpenAI Sora 的侷限性

團隊正在改進的當前模型仍有改進空間。OpenAI 提到的某些限制包括:

  • 該模型可能難以模擬複雜場景,也可能無法視覺化因果關係的一些例項。例如,角色吃餅乾後,餅乾可能沒有咬痕。
  • 該模型也可能對提示中的方向(如左和右)和特定的攝像機軌跡感到困惑。

OpenAI Sora 的未來

使用 AI 生成影片的這一最新想法展示了 AI 在不同領域的快速應用。最終,該工具的設計是為了應用於醫療保健和其他領域。此外,可能會有公司站出來開發利用 AI 來改善人類生活的工具。

結論

OpenAI Sora 是 AI 領域的最新創新。該工具由 OpenAI 開發,可以根據文字描述生成影片。它很快就會向公眾開放,這將改變各個行業中某些工作的效率。特別是商業營銷和廣告、電影製作和故事講述。當然,它可能與真實的影片不一樣。

更新於:2024 年 9 月 12 日

112 次瀏覽

啟動您的職業生涯

透過完成課程獲得認證

開始
廣告