又一個國產大模型應用火出圈！

兩個月前，阿里巴巴通義實驗室公開了一篇能夠讓照片唱歌說話的生成式AI模型論文，EMO（Emote Portrait Alive），在海外媒體和社交平臺引起熱烈反響，被一批科技圈大V輪番轉發。4月25日，EMO正式上線通義APP，開放給所有用戶免費使用，應用上線瞬間通義APP一度被擠爆，有用戶發現自己要排隊數小時。其火熱程度可見一斑。

EMO是通義實驗室研發的AI模型，于今年2月底公開技術論文，被外媒稱之為Sora之后最熱門的AI模型之一，在開源社區Github上已經獲得了超過6700顆星標。只需要一張人物肖像照片和一段任意時長的音頻，EMO就可以讓照片中的人物按照音頻內容“張嘴”唱歌、說話，且口型基本保持一致，實現自然的面部表情和頭部姿態。

短短兩個月后，通義實驗室已經將EMO產品化。所有用戶都可以在通義APP中打開EMO產品頁面，在涵蓋各類歌曲、熱梗和表情包的80多個首批上線模板中任選一個，上傳一張肖像照，即可讓照片、繪畫、“紙片人”、數字人乃至雕像開口說話唱歌，并隨時分享或下載保存所生成的視頻。

富有表現力的AI視頻生成框架

那么，EMO如何實現如此出色的生成效果？

據介紹，與目前市面上的主流視頻生成算法不同，EMO的原理是用音頻驅動圖片的人像，使其做出與音頻內容高度匹配的口型和表情。EMO的算法框架分為兩步，用ReferenceNet引導去噪，用Backbone（主干網絡）主干網絡去噪。

在EMO之前，Talking Head領域的工作都需針對人臉、人頭或者身體部分做建?；蛘弑碚?，耗時長且生成質量較低。而EMO首次提出了弱控制的設計，剔除掉針對人臉的顯示表征建模，轉而采用一些相對較弱的控制條件來引導Diffusion去噪過程。

這就意味著，EMO降低了人物視頻的生成門檻，且大幅提升了視頻的生成質量，使得這一技術在視頻制作、影視創作、電商直播等領域的規?；瘧贸蔀榭赡?。

更驚人的是，通過在海量的人物講話視頻上進行訓練，EMO模型不僅能夠找到音頻中具體發音與人像口型的匹配關系，還能發現音頻中的語氣特征與人物表情的關聯性，從而將音頻暗含的情緒色彩反映到了人物微表情上?？梢哉f，EMO在訓練中慢慢地學習了人類表達情緒的能力，并對其進行了編碼。

不過，隨著EMO的橫空出世，一些人開始擔心，EMO模型可能會成為某些別有用心者的犯罪工具。

為防止對口型技術被濫用，阿里云方面表示，通義實驗室團隊在應用內預置了經過審核的音頻模板，暫不開放用戶在EMO中自定義音頻。用戶只可上傳照片，且需嚴格遵守平臺協議，使用符合規范的照片來生成視頻。其次，平臺會對用戶生成內容進行算法和人工兩道審核，確保內容安全。用戶上傳的照片僅用于AIGC生成，平臺會嚴格保護用戶的信息安全。

同樣是出于安全方面的考量，目前，EMO暫不開放API，團隊將對安全策略進行充分論證后再進行下一步工作。通義實驗室也歡迎社會各界群策群力，提供更好的安全建議，以便在安全可控的前提下推動大模型技術和應用的發展。

阿里：做全民可用的大模型應用

從2022年ChatGPT的誕生，到國內的百模大戰，AI大模型熱潮已經持續超過一年。如今，大模型已經逐漸走進千行百業，甚至成為全民可用的應用。

今年2月，隨著OpenAI放出文生視頻模型Sora的展示片段，由于其高水平的演示質量和超出一分鐘的生成視頻時長，立刻引爆了AI視頻行業。在Sora之前，已經出現了Runway、Pika、Stable Video等熱門文生視頻模型。

不過，Sora直到今天都沒有定下面向公眾開放的日期，而已經開放的Runway和Pika等模型大多需要按使用次數計費、價格不菲，抑或是需要專業的開發者知識去使用，生成視頻時長也不超過16秒。

雖然通義APP上的EMO模型目前只支持有限的模板，但其已經成為全民免費可用的AI視頻模型，上手簡單、使用方便，還自帶供用戶進行分享的生態社區。另外，APP上提供的模板中包含了大量網絡熱梗，有利于所生成短視頻的傳播和分享，并展現出該模型未來和更多影視IP合作的潛力。

當下，全球AI大模型行業依然進展飛速，各大科技巨頭都在積極地卷模型、卷應用。面對迭代速度越快、種類越來越豐富的大模型，時常會讓用戶產生一種不知從何處下手的感覺。不過，說到底，這些AI模型都是將人類思想與創意具現化的工具，而通義APP有望正在演變成一個包羅萬象的工具鋪，成為每位用戶手中一個隨叫隨到的超級AI助手。

在大模型的C端入口上，阿里無疑是最激進、步伐最快的科技公司。自今年年初以來，通義APP已經上線了現象級應用“全民舞王”、超長文檔解析、AI編碼助手、AI會議助手等眾多免費功能，成為國內功能最豐富的大模型應用。