魚羊 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

要說現在什么AI技術跟大家伙兒走得最近，那真是非AI特效玩法莫屬。

想整張手繪頭像，無需點亮繪畫技能，拿起手機打開APP拍張照，AI“秒秒鐘”幫你自動搞定。

△快手“手繪封面”特效

并且早已不僅僅局限于單張照片，短視頻的每一幀都能用這樣的麻瓜“魔法”絲滑覆蓋。

各種藝術風格，只有你想不到，沒有AI做不到。

不過，別看這些特效濾鏡層出不窮，動不動掀起一波網絡狂歡，從一個模型的誕生到它真正走進你的手機，那背后的故事還真不是三言兩語就能輕松說完的。

特效是怎么進到手機里的？

不妨以快手爆火的手繪特效為例，詳細嘮嘮這件事。

首先，自然還是算法層面的一系列操作。

從用戶拍攝視頻/照片，到AI的“手繪作品”輸出，在AI看來大致是這樣一個流程：

ISP將處理好的視頻/照片發送給App，AI接收到需要處理的畫面，就會預先對每一幀畫面進行預處理，統一格式和尺寸。

接下來，就可以開始偵測并剪切畫面中的人臉，運用已經定制好風格的“藝術家”神經網絡（如U-Net等）對其進行加工。

這一步生成的手繪效果與輸入幀進一步融合之后，手繪特效就初步完成了。

當然，在正式輸出之前，每一幀畫面還得經過一道化妝和美顏的步驟，來提升整體圖像的質量。

這時候可能有盆友會問了，現在各種開源生成算法都很成熟，直接搬到手機里，何難之有啊？

非也非也。

且不說為了最大程度保留用戶本人的五官和外形特征，同時兼顧手繪風格的美學和藝術效果，需要在整體風格和局部細節上對AI模型進行更加嚴苛的調教，對于快手這樣的App來說，訓練出一個穩定好用的模型往往還只是第一步。

更大的困難其實在于手機這個載體本身。

手機作為移動端設備，本身算力有限。也就是說，AI的手繪能力越強大、技術越復雜，對于手機來說，想要流暢不卡頓地運行它，就越困難。

而對于咱用戶來說，如果一開特效就是一頓卡卡卡卡卡，電量哐哐掉，那也就沒有什么樂趣可言了。

另外，像手繪濾鏡這樣的算法，默認是在手機CPU上運行的。CPU是一個通用計算單元，本身也并非運行AI工作負載的最佳選擇。

怎么解決？大體上有如下三種思路。

第一種思路，還是從算法上著手，對模型進行壓縮。以快手為例，AI濾鏡背后就都有定制化模型壓縮算法的加持，使其可以在考量各種邊界條件、有限的計算和內存資源條件下，把模型計算量降到最低。

不過再怎么在算法上優化，硬件層面的限制仍然是無法繞開的問題。

于是就有了第二種思路，上云。許多App提供商都會選擇在云端進行復雜的AI處理，以解決移動端算力不足帶來的挑戰。

但這又引發了新的問題——在云端計算，就會受到網絡環境的影響，導致額外的時延和其他變化，也沒有辦法滿足離線需要。

所以第三種思路，就是直接從SoC硬件廠商這一側解決問題。

以最常見的高通驍龍移動平臺為例，其搭載的高通AI引擎，就在硬件這一側，實現了AI計算的加速。

高通AI引擎有啥不一樣？

高通AI引擎，其實就是內置于驍龍移動平臺的一套完整軟硬件AI解決方案。

在硬件方面，高通AI引擎采用多核異構計算方案，包含：

Hexagon向量處理器

Adreno GPU

Kryo CPU

因此，通過智能調度CPU、GPU和向量處理器來進行AI運算，高通AI引擎能充分發揮出不同架構處理器的優點，在實現高算力的同時，最大限度保證能效。

而在軟件方面，高通AI引擎的軟件工具包括：驍龍神經處理SDK、Android NN和Hexagon NN。利用這些軟件工具，像視頻平臺這樣的算法開發方，就能夠快速接入高通AI引擎，充分探索AI算法的性能邊界。

事實上，快手和高通早在驍龍765移動平臺推出時就展開了合作。針對App在移動平臺的性能、功耗、擴展性和兼容性等方面的需求，高通神經處理SDK能夠以軟件的方式提供支持，并釋放CPU工作負載，通過Hexagon處理器來實現AI加速。并且，雙方還在模型量化壓縮方面開展了合作，在提升模型性能和能效的同時，確保AI處理的精確度。

由此帶來的效果可以直接用一組數據體現：手繪濾鏡幀率（FPS）提升56%，功耗降低32%。

而在今年，隨著新一代驍龍778G移動平臺的推出，雙方的合作還在進一步加深。核心圍繞的，就是第6代高通AI引擎。

驍龍778G支持的第6代高通AI引擎包含高通Hexagon 770處理器，算力可達12TOPS，性能較前代平臺實現翻番。為便于大家參照：蘋果A14為11TOPS。

此外，驍龍778G采用的全新Qualcomm Spectra ISP，支持每秒處理20億像素，能夠為高通AI引擎運行特效算法提供額外加持。

快手Y-tech AI工程組負責人邊紅昌針對這項合作，還表示：

與高通技術公司的出色合作幫助快手突破了AI算法的性能邊界。我們很高興能夠與高通繼續協作，充分發揮驍龍高端芯片的強大異構計算能力。通過增強神經網絡性能并提升輸出質量，我們將能為用戶提供更具吸引力的應用和更高價值。”

“AI大廠”高通？

說起高通，或許你的印象還停留在“一家手機芯片廠”，長于游戲和圖形。

但從手繪濾鏡這個案例中，就不難看出，其實高通早已是一家AI大廠，還是App開發商們樂于攜手合作的那種。

事實上，早在AI方興未艾之時，高通就已經將AI視為技術發展的重點。

在2007年，高通旗下的Qualcomm Research就啟動了首個人工智能項目，并于2018年正式成立Qualcomm AI Research。

2015年，搭載第一代高通AI引擎的驍龍820發布，正式引入高通Hexagon向量擴展內核，以支持更強大的AI處理能力。

在歷經6年的逐年迭代之后，今年同樣搭載第6代高通AI引擎的驍龍888 Plus，已經實現了高達32 TOPS的強大算力。

并且，高通的AI能力或許也比你想象的更深入日常生活。

雖然不像App里的AI特效算法那樣讓人感知強烈，但你的手機、手機應用越來越智能背后，或多或少都有高通AI引擎的影子。

最近就有新例子——

搭載了驍龍888系列的榮耀Magic 3，通過場景元素識別和智能匹配、推薦，實現AI影調推薦功能，讓用戶在手機上也能拍出電影大片的質感。

而同樣搭載了驍龍888 Plus的小米MIX4，驚艷的屏下攝像頭落地背后，少不了AI圖像增強算法的加持；更有全景AI翻譯新玩法，帶來同聲傳譯、屏幕翻譯、拍照翻譯、AI字幕等實用AI功能，讓用戶能在刷視頻、線上會議等諸多場景中，都方便體驗到AI“翻譯大師”的服務……

黑科技有多復雜？那不是大多數用戶需要考慮的。

但在高通與其合作廠商的碰撞中，更多的黑科技正在成為生活的常態。

拿來就完事了，你說呢（手動狗頭）？

— 完 —

本文系網易新聞?網易號特色內容激勵計劃簽約賬號【量子位】原創內容，未經賬號授權，禁止隨意轉載。

原標題：《沒想到吧，讓你一秒變身紙片人的爆火AI特效，背后還有這么多知識點》

閱讀原文