一覺醒來，AI 圈又大變天了。現(xiàn)在 AI，已經(jīng)進(jìn)化到這種程度了！? 

2024 年 10 月 22 日，多家 AI 產(chǎn)品帶來了新版本和新功能：

Claude 3.5 模型升級(jí)，AI 可以模仿人類訪問電腦，幫我們自動(dòng)干活了；

Runway 推出了生成式角色表演工具 Act-One，人人都可以做動(dòng)畫片；

Midjourney 準(zhǔn)備發(fā)布 V7 版本，支持 ControlNet 功能精準(zhǔn)控制 AI 圖像；

Stable Diffusion 3.5 發(fā)布了，ComfyUI 也即將支持桌面版；

還有新的開源視頻模型工具在路上......

在 Sora 被調(diào)侃為“期貨”的 8 個(gè)月里，國內(nèi)外已經(jīng)涌現(xiàn)出了一批可圈可點(diǎn)的 AI 視頻大模型和工具產(chǎn)品，各家輪流登上 AI 視頻王座。目前，MiniMax 海螺和快手可靈等國產(chǎn) AI 產(chǎn)品，憑借高質(zhì)量、穩(wěn)定性、影視級(jí)的特性，在海外迅速走紅。

MiniMax 海螺 AI 的情感演繹實(shí)例視頻圖

一張圖一句話，人人都能搞定大師級(jí)鏡頭

AI 技術(shù)的不斷發(fā)展，也推動(dòng)了 AI 視頻開始往影視領(lǐng)域探索。快手可靈 AI 聯(lián)手李少紅、賈樟柯、俞白眉等 9 位知名導(dǎo)演，嘗試制作 AIGC 電影短片。而 Runway CEO 在接受專訪時(shí)放言，“明年或?qū)⒁娮C首部 AI 主導(dǎo)創(chuàng)作的電影誕生，并贏得奧斯卡獎(jiǎng)。”

在此之際，澎湃新聞對齊 Lab 欄目上線了首部以馬蘭基地“核二代”為原型的 AI 非虛構(gòu)微電影《馬蘭花開》。影片前 40 秒除航拍鏡頭使用墊圖外，其余畫面均使用前沿 AI 技術(shù)生成，實(shí)現(xiàn)了影視級(jí)的畫面效果，AI 輔助完成了包括 360°旋轉(zhuǎn)鏡頭等在內(nèi)的多個(gè)復(fù)雜運(yùn)鏡。

在這部片子中，我們把當(dāng)下最新的 AI 功能，都摸了個(gè)透。AI 功能千千萬，怎么樣才能搞定大師級(jí)電影鏡頭呢？

以 360°旋轉(zhuǎn)鏡頭為例，大致有兩種思路，最直接的就是“文生視頻”，我們在最初的嘗試?yán)?，體驗(yàn)了這種路徑的效果：生成畫面也挺有味道的，但是不是我們想要的。

直接文生視頻效果，源自澎湃對齊Lab

為了畫面的可控性，我們選擇了“文生圖——圖生視頻”的思路：增加一個(gè)中間環(huán)節(jié)，以確保最終畫面的調(diào)性。如果需要控制角色，這種思路也可能效果更好。

首先，我們借助目前 stable diffusion 里面超強(qiáng)的圖像生成模型——Flux，通過輸入提示詞和提供參考圖生成理想的電影感畫面。

360 旋轉(zhuǎn)鏡頭的第一張圖，源自澎湃對齊Lab

有了第一張圖，視頻的基本風(fēng)格就定下來了，接下來就是最關(guān)鍵的運(yùn)鏡環(huán)節(jié)了。綜合考量了制作需求、效果以及成本等因素后，我們最終選擇了目前“圖生視頻”中相對簡單可控的方法——利用現(xiàn)成視頻工具，依靠一張圖、一句話來生成 360°鏡頭。

當(dāng)前大多數(shù)視頻工具一次最長能做 10-12 秒的視頻，但 AI 未必能在短時(shí)間內(nèi)完成復(fù)雜的鏡頭調(diào)度。為此，我們可以結(jié)合AI視頻工具的“拓展延長”功能，將 360°的鏡頭分成幾個(gè)小部分（比如 180°、270°）一步步實(shí)現(xiàn)。

值得一提的是，以上操作思路都是我們基于 9 月中旬的調(diào)研得出的。但 AI 的發(fā)展實(shí)在太快了，截至 10 月 21 日，各大視頻工具的功能又做了很多的迭代升級(jí)。海螺推出了“圖生視頻”功能，即夢開啟了 S2.0 和 P2.0版本的內(nèi)測......這些更新使得 360°旋轉(zhuǎn)鏡頭的制作有了更多的可能性。

不會(huì)的題，人怎么找解題思路

AI 崩壞的畫面，圖源自澎湃對齊Lab

雖然 AI 視頻已經(jīng)具備影視化能力，但在細(xì)節(jié)的表現(xiàn)上仍舊充滿難題。在制作《馬蘭花開》的過程中，最讓我們崩潰和頭疼的，莫過于小孩跳皮筋和數(shù)飛機(jī)這兩個(gè)畫面。

比如，AI 并不能很好地理解，什么是“跳皮筋”。我們用“跳皮筋”的提示詞描述直接生成圖片，會(huì)出現(xiàn)語義理解偏差。最終，我們給 AI 喂經(jīng)過高清修復(fù)、PS 處理后的正確照片，讓 AI 圖片里面的人物動(dòng)作和姿態(tài)更加接近理想效果。

在視頻生成中也有同樣的問題，直接輸入“跳皮筋”的提示詞，AI 反饋的是活蹦亂跳的小孩、奇怪飄起的揚(yáng)沙……我們只好退而求其次，用簡化提示詞的方式，讓小孩原地輕輕跳一跳、動(dòng)一動(dòng)，完成跳皮筋的動(dòng)勢。

AI 視頻還有哪些有趣的玩法？

除了正兒八經(jīng)的影視化方向，AI 視頻現(xiàn)在還能做很多開腦洞的效果。對于沒有任何影視后期制作經(jīng)驗(yàn)的人來說，AI 確實(shí)能花小錢辦大事。

Pika AI影視特效，源自X @Ethan Mollick

最近一口氣上線了 10 種 AI 影視特效，包括溶解、擠壓、消失、爆炸等。推特上的一位可視化愛好者，用 AI 特效實(shí)現(xiàn)了真·用手摳圖，給人一種打破次元壁的感覺。

Runway 視頻轉(zhuǎn)繪效果，源自X @oFaleco

Runway 則在近期上線了視頻生視頻（video to video）的轉(zhuǎn)繪功能。能夠根據(jù)提示詞改變用戶上傳視頻的場景、風(fēng)格，并保留視頻的主體框架。

除了這些閉源工具推出的彩蛋功能，開源社區(qū)中也有很多對 AI 視頻形式的探索，比如用運(yùn)動(dòng)視頻驅(qū)動(dòng)植物跳舞、用人物肖像視頻驅(qū)動(dòng)小動(dòng)物說話等。

今年的全民健身日，我們使用 ComfyUI 讓十款甜品、飲料開始了自己的“運(yùn)動(dòng)表演”。這套開源工作流的本質(zhì)是對運(yùn)動(dòng)視頻進(jìn)行摳像后，再根據(jù)物體形態(tài)、場景兩種參考圖對摳像視頻進(jìn)行視頻轉(zhuǎn)繪。在全國生態(tài)日，我們使用開源技術(shù) Liveportrait，把人的面部表情“移植”到了小動(dòng)物身上，完成了一次野生動(dòng)物的“街頭采訪”。

AI 視頻創(chuàng)作，難在哪里？

在 9 月 22 日舉行的 Runway Meetup Shanghai 創(chuàng)作者分享會(huì)上，AI Talk 創(chuàng)始人汗青表示，“AI 沒問題，我建議有一些局部調(diào)整：視頻的困境在于，不同于互聯(lián)網(wǎng)和移動(dòng)時(shí)代，AI 視頻尚未等到一個(gè)適配其特性的新媒介”。

汗青還強(qiáng)調(diào)，許多人覺得 AI 視頻能降本增效，但看視頻的人其實(shí)并不關(guān)心。在微短劇、短視頻、直播當(dāng)?shù)赖慕裉?，AI 視頻靠什么去獲得受眾的注意力，是 AI 視頻創(chuàng)作者值得去深思的問題。

而對于新聞機(jī)構(gòu)從業(yè)者來說，AI 視頻創(chuàng)作的主要顧慮是新聞?wù)鎸?shí)性和 AI 虛構(gòu)能力之間存在一定的矛盾。但如果用到非虛構(gòu)領(lǐng)域，就能讓 AI 肆意發(fā)揮他的創(chuàng)意。

在構(gòu)思《馬蘭開花》的故事時(shí)，我們拋棄了用 AI 視頻來還原歷史事件的創(chuàng)作方向，一方面是因?yàn)楣_的資料有限，生成 AI 視頻缺乏依據(jù)；另一方面，AI 視頻在細(xì)節(jié)還原的準(zhǔn)確性上還存在不足，在重要的歷史事件中容易造成誤讀和偏差。

海外主流AI視頻工具流量對比，源自Similarweb

隨著 AI 視頻產(chǎn)品逐漸進(jìn)入“祛魅”期，許多主流 AI 視頻產(chǎn)品的熱度也出現(xiàn)了下滑的趨勢。流量分析工具 Similarweb 的數(shù)據(jù)顯示，Luma AI 于 9 月初上線了 1.6 版本，但當(dāng)月訪問量環(huán)比下降了 38.49%。作為全球 AI 視頻的第一梯隊(duì)產(chǎn)品，Luma AI 每月的訪問量大約只有 ChatGPT 的 1/413。

AI 視頻產(chǎn)品的升級(jí)迭代，往往伴隨著“嘗鮮”式的擠兌體驗(yàn)和漫長的排隊(duì)，反而會(huì)給用戶帶來負(fù)面的體驗(yàn)。從主流 AI 視頻工具近年來的迭代變化來看，還并沒有出現(xiàn)真正改變游戲規(guī)則的模型和產(chǎn)品。

信達(dá)證券在今年 7 月發(fā)布的一份研報(bào)中指出，AI 視頻行業(yè)的風(fēng)險(xiǎn)因素包括：AI 底層大模型發(fā)展、AI 視頻技術(shù)迭代和 AI 視頻產(chǎn)品付費(fèi)滲透率提升均不及預(yù)期。

但是人人都是導(dǎo)演的愿景，或許本來就需要更多等待的耐心。