原創： 關注前沿科技 量子位

魚羊 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

鏡頭切換自然，節奏有急有緩，創作這樣高質量的視頻，需要怎樣的專業剪輯技巧？

答案是，不用剪，會寫就行。

比如要剪輯一個有關長頸鹿的片段，你只需要告訴AI：

The giraffe is the world’s tallest animal, and well known for its long legs and neck.

長頸鹿是世界上最高的動物，以其長腿和長脖子聞名于世。

It has a brown mane on the neck, and its head has two hairy horns.

它的脖子上有棕色的鬃毛，頭上長了兩只毛茸茸的角。

AI就能自動剪輯完成這樣的畫面：

先展示一下長頸鹿群的全貌。接著鏡頭切給一只奔跑中的長頸鹿，展示一下它的長腿長脖子。按照指示，再給鬃毛和犄角來個特寫，齊活！

是的，不再需要費勁挑選素材，一幀一幀地來回倒騰：

△剪輯真是體力活

只需要把你腦海中的創意轉化成簡短的文字，這個名叫Write-A-Video的AI就能讀懂你的心，從選材到剪輯，一站式完成創作。

這就是北航、清華、哈佛和以色列赫茲利亞跨學科研究中心的科學家聯手打造的最新AI神器，只需主題腳本，就能生成視頻。

用文字創作視頻

現在，準備好素材，我們一起來看看，Write-A-Video到底是怎樣“寫”出一個視頻來的。

整個過程分為三步。

第一步，用戶以文本的形式提供輸入。Write-A-Video會挑選出句子中的關鍵詞。

第二步，Write-A-Video會利用關鍵詞，把素材庫里與之相匹配的候選片段挑出來。

文本和鏡頭之間的視覺語義匹配主要包括兩個步驟：關鍵字匹配和視覺語義嵌入。

首先，AI會根據腳本從素材庫中檢索所有帶有關鍵字標簽的視頻鏡頭。

素材庫中的所有視頻均被分割為快照，便于語義匹配，還能在下一步正式剪輯視頻時，讓用戶用電影術語來指導AI創作。

Write-A-Video的作者，北京航空航天大學的汪淼老師介紹說，Write-A-Video允許用戶在輸入文本中使用電影術語，以探索每個場景不同的視覺風格，比如調整電影的節奏，畫面的調動等。

此外，采用基于直方圖的分割算法，如果幀與幀之間在HSV色域中的直方圖相差超過80%，并且追蹤的SURF關鍵點80%以上不匹配，那么算法就會以這兩幀為界，切分鏡頭。

太長（>30s）或太短（<2s）的鏡頭也會被舍棄，因為短鏡頭觀感不好，而長鏡頭會降低效率和可變性

而后，視覺語義嵌入技術會為每個檢索到的鏡頭計算匹配分數，排名最高的鏡頭就會被選為候選鏡頭。

這里采用的方法是 VSE++ （論文地址見文末）。該方法能將跨模型內容編碼到聯合特征空間中，比如把文本和鏡頭聯系起來。

在嵌入空間中，從鏡頭中每十幀抽取一幀，計算其與文本之間的余弦相似度，最后取平均值，即為判斷鏡頭能否入選的最終得分。

第三步，就是將這些鏡頭組合在一起，完成視頻的剪輯。

這一步，其實是Write-A-Video對鏡頭的混合優化。而它也有自己的審美標準。

首先，畫面應該是明亮而生動的。

其次，鏡頭不能晃動得太厲害。

最后，要避免不連貫的跳接（jump cut）和相反的相機運動。

值得一提的是，Write-A-Video對用戶非常友好。

△加上新的文本，對應素材就自動續上了

查找對應鏡頭，剪切，重新排列，都可以用添加、刪除文本及移動句子等文本編輯的形式進行。不用掌握剪輯技巧，更不用會敲代碼。

不僅如此，在下面這個視頻中，你會發現，敲進去的文字可以轉成配音旁白，渲染影片氣氛。

并且，旁白和視頻完全同步，對應得十分自然。提到白金漢宮時，鏡頭就自然地轉到了白金漢宮門前。而提到皇家護衛隊時，畫面便給到了表演中的皇家護衛隊。

研究團隊表示，跟商用的逐幀處理視頻編輯器比起來，用上Write-A-Video，創作起來快多了。

有了Write-A-Video，甚至新手，都能以快得多的速度（13分鐘：7小時），完成質量與職業剪輯師差距不大的視頻剪輯任務。

△剪輯師用Pr，新手用Write-A-Video

在剛剛結束的SIGGRAPH Asia 2019會議上，研究團隊報告并展示了Write-A-Video這一成果，得到了國際同行的廣泛認可。

北航清華團隊出品

Write-A-Video的第一作者汪淼博士，現為北京航空航天大學虛擬現實技術與系統國家重點實驗室助理研究員，碩士生導師。

△汪淼

他本科畢業于西安電子科技大學，后于2016年獲得清華大學博士學位，師從論文通訊作者，清華大學計算機系胡事民教授。

論文作者中的楊國煒參加該項目時，只是一位本科生，現已在清華大學計算機系攻讀博士學位。

另外兩位作者，分別是菲爾茲獎得主、哈佛大學教授、美籍華人數學家丘成桐，以及以色列赫茲利亞跨學科研究中心院長艾里爾·沙米爾（Ariel Shamir）。

傳送門

視頻鏈接：

https://vimeo.com/357657704

論文地址：

http://www.faculty.idc.ac.il/arik/site/writeVideo.asp

https://dl.acm.org/citation.cfm?id=3355089

注：TOG2019年的第177號論文

VSE++論文地址：

https://arxiv.org/abs/1707.05612

作者系網易新聞·網易號“各有態度”簽約作者

— 完 —

大咖齊聚！參會嘉賓重磅揭曉

量子位 MEET 2020 智能未來大會啟幕，李開復、倪光南、景鯤、周伯文、吳明輝、曹旭東、葉杰平、唐文斌、王硯峰、黃剛、馬原等AI大咖與你一起讀懂人工智能。觀眾票即將售罄，掃碼報名預定席位 ~

量子位 QbitAI · 頭條號簽約作者

?'?' ? 追蹤AI技術和產品新動態

原標題：《你寫腳本，AI自動剪視頻：13分鐘完成剪輯師7小時創作，清華北航聯手打造，丘成桐參與其中》

閱讀原文