[新聞] OpenAI 公布 Sora -- 文字生成影片

OpenAI 在 2024 二月 15 日公布了可以從文字生成影片的 AI 模型: Sora, 請一定去 https://openai.com/sora 看 OpenAI 的介紹，他們在網頁上放了許多影片，品質非常驚人

驚人之處

• 影片 1080p
• 很多影片看起來非常像實拍：人物、遠景、特寫、攝影機視角的移動…
• 大部分的手跟手指沒有很奇怪
• 雖然示範影片風格大部分是以「現實」為主，但也有稍微不同的藝術風格，例如動畫等等。看起來風格是可以 prompt, 像是 cinematic, animation, warm 等等
• 影片流暢度與風格一致，不會感受到拍的人「精神分裂」
• 光影、反射折射，雖然一時之間不知道正不正確，但是「感覺很真」很搶眼（我覺得 OpenAI 有特地把這當賣點，一些影片的 prompt 有 reflection 之類的）

不足之處

• 影片裡的文字依然虛假，例如招牌、路標等等
• 有些手/腳/手指還是不對，尤其是貓貓跟人睡覺的那一片有點驚悚… 太真實的下場
• 有些 “collision” 跟「無中生有」也很驚悚，像是冬天東京那一片
• 有些影片雖然想要實景，看起來卻很像… 小模型，例如工地那一片（我其實在猜這可能反而是大多數，示範影片是 cherry pick）

當然示範影片都可以精心挑選，而 OpenAI 也有特地挑出他們的「弱點」影片，最主要是「合理性」、「物理特性」跟「物件互動/因果」還有很大的進步空間

根據文字生圖的經驗，未來有幾點可以關注

• 產生成本
• 產生時間
• 產生影片的「命中率」，要產生多少影片才會是你想要的
• prompt engineering, again

目前模型還沒有開放給普羅大眾，只是先公布進度。他們還在評估風險、安全性，以及跟影片業界專業人士合作看怎麼樣幫助他們

OpenAI 也特別開一段 Safety, 提到像是避免用在造謠、仇恨暴力、歧視、侵犯名人或智財權等等，也會做分類器來偵測某影片是否為 Sora 生成的影片

關於技術，他們之後會把論文放上去，目前提到是用 diffusion + transformer

(Update: 技術相關的他們放在 https://openai.com/research/video-generation-models-as-world-simulators )

總之從 Gen-2 到 Sora，這種生成影片能夠幫助到很多領域像是廣告公司、影片創作 B-cut (甚至可能是主角)，不過對於從業人員例如攝影師、素材庫、模特兒等等也有一些影響吧