_作者：Christos G. Bampis，Li-Heng Chen and Zhi Li_

_譯者：李翔_

_審校：Zhi Li_

當(dāng)你在狂熱地觀看最新一季的 《怪奇物語(yǔ)》或《黑錢(qián)勝地》時(shí)，我們努力為你提供最好的視頻質(zhì)量。為此，我們不斷突破流媒體視頻質(zhì)量的界限，并利用最好的視頻技術(shù)。例如，我們投資于下一代、免版稅的編解碼器和復(fù)雜的視頻編碼優(yōu)化。最近，我們?yōu)槠脚_(tái)添加了另一個(gè)強(qiáng)大的工具：用于視頻降分辨率的神經(jīng)網(wǎng)絡(luò)。在這篇技術(shù)博客中，我們描述了我們是如何利用神經(jīng)網(wǎng)絡(luò)改善Netflix視頻質(zhì)量的，我們面臨的挑戰(zhàn)以及未來(lái)的發(fā)展。

我們?nèi)绾卧贜etflix視頻編碼流程中使用神經(jīng)網(wǎng)絡(luò)？粗略地說(shuō)，在我們的編碼視頻流程中有兩個(gè)步驟：

1\. 視頻預(yù)處理，它包括編碼前應(yīng)用于高質(zhì)量源視頻的任何轉(zhuǎn)換。視頻降分辨率是這里最相關(guān)的例子，它根據(jù)不同設(shè)備的屏幕分辨率定制我們的編碼，并在不同的網(wǎng)絡(luò)條件下優(yōu)化圖像質(zhì)量。通過(guò)視頻降分辨率，一個(gè)源視頻能產(chǎn)生多個(gè)分辨率的視頻。例如，一個(gè)4K源視頻將被縮小到1080p、720p、540p等。這通常是通過(guò)傳統(tǒng)的濾波器來(lái)完成的，比如Lanczos算法.

2\. 視頻編碼，使用傳統(tǒng)的視頻編解碼器，就像AV1。編碼通過(guò)利用視頻中存在的空間和時(shí)間冗余，大大減少了需要通過(guò)流傳輸?shù)皆O(shè)備的視頻數(shù)據(jù)量。

我們認(rèn)為，我們可以利用神經(jīng)網(wǎng)絡(luò)來(lái)提高Netflix的視頻質(zhì)量，方法是用神經(jīng)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的濾波器來(lái)進(jìn)行視頻降分辨率。這種被我們稱(chēng)為“深度降分器”的方法有幾個(gè)關(guān)鍵的優(yōu)點(diǎn)：

? 一種基于學(xué)習(xí)的方法可以提高視頻質(zhì)量，并針對(duì)Netflix內(nèi)容進(jìn)行定制。

? 它可以看做是一個(gè)直接替代方案，也就是說(shuō)，我們不需要在Netflix編碼端或客戶(hù)端設(shè)備端進(jìn)行任何其他更改。數(shù)以百萬(wàn)計(jì)的支持Netflix流媒體的設(shè)備自動(dòng)受益于此解決方案。

? 一個(gè)基于神經(jīng)網(wǎng)絡(luò)的視頻處理模塊可以被獨(dú)立開(kāi)發(fā)，可以在視頻降分辨率之外使用，并且可以與不同的編解碼器相結(jié)合。

當(dāng)然，我們相信神經(jīng)網(wǎng)絡(luò)在整個(gè)視頻應(yīng)用中的革命性潛力，不僅僅是視頻降分辨率。雖然傳統(tǒng)的視頻編解碼器仍然流行，基于神經(jīng)網(wǎng)絡(luò)的視頻編碼工具蓬勃發(fā)展，并縮小了壓縮效率方面的性能差距。深度降分器是我們用神經(jīng)網(wǎng)絡(luò)改善視頻質(zhì)量的實(shí)際方法。

Instagram會(huì)為用戶(hù)上傳的視頻創(chuàng)建多種編碼版本，不同版本間各有特性。而只要利用一種類(lèi)型的視頻編碼輔助生成另一種類(lèi)型，即可將觀看次數(shù)較少的視頻所占用的編碼計(jì)算資源減少94%。由此釋放出的更多資源可用于生成更多高清編碼視頻流，讓更多用戶(hù)獲得更清晰、更流暢的播放體驗(yàn)。

**基于神經(jīng)網(wǎng)絡(luò)的視頻降分辨率方法**

深度降分器是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，旨在通過(guò)學(xué)習(xí)更高質(zhì)量的視頻尺度器來(lái)提高端到端的視頻質(zhì)量。它由兩個(gè)構(gòu)建模塊組成，一個(gè)預(yù)處理模塊和一個(gè)調(diào)整大小模塊。預(yù)處理塊的目的是在調(diào)整大小操作之前對(duì)視頻信號(hào)進(jìn)行預(yù)濾波。調(diào)整大小塊產(chǎn)生作為編碼器輸入的低分辨率視頻信號(hào)。我們采用了自適應(yīng)網(wǎng)絡(luò)設(shè)計(jì)，適用于各種各樣的實(shí)際編碼中會(huì)用到的分辨率。


深壓縮模型的體系結(jié)構(gòu)，由預(yù)處理模塊和調(diào)整大小模塊組成。

在訓(xùn)練過(guò)程中，我們的目標(biāo)是生成最佳的降分表示，以使得在升分以后后均方誤差被最小化。因?yàn)槌Ｒ?guī)的視頻編碼器是不能微分的，我們?cè)趯⑵渑懦诳紤]之外。在客戶(hù)端的升分器是bicubic的前提下，我們集中訓(xùn)練一個(gè)魯棒的深度降分器。我們的訓(xùn)練方法是直觀的，并且產(chǎn)生的降分器并不和特定的編碼器及其相關(guān)實(shí)現(xiàn)方式相關(guān)聯(lián)。盡管如此，我們需要對(duì)訓(xùn)練結(jié)果進(jìn)行徹底的評(píng)估，以證明它在Netflix編碼流程里的廣泛應(yīng)用潛力。

**利用神經(jīng)網(wǎng)絡(luò)改善Netflix視頻質(zhì)量**

深度降分器的目標(biāo)是提高Netflix端到端的視頻質(zhì)量。通過(guò)我們的實(shí)驗(yàn)，包括客觀測(cè)量和主觀視覺(jué)測(cè)試，我們發(fā)現(xiàn)深度深壓縮提高了各種傳統(tǒng)視頻編解碼器和編碼配置的質(zhì)量。

例如，對(duì)于VP9編碼，并假設(shè)一個(gè)bicubic升分器，我們測(cè)量到深度降分器比傳統(tǒng)的Lanczos降分方法平均提高了5.4%的VMAF Bj?ntegaard-Delta (BD)率。我們還測(cè)量了約4.4%的VMAF-NEG BD率的增益。下面我們展示了Netflix標(biāo)題中的一個(gè)例子。深度降分器(紅點(diǎn))在類(lèi)似比特率下提供了更高的VMAF，或在更低比特率下產(chǎn)生類(lèi)似的VMAF分?jǐn)?shù)。


除了客觀的測(cè)試以外，我們還進(jìn)行了主觀測(cè)試研究，以驗(yàn)證深度降分器的主觀視覺(jué)改善。在我們的基于偏好的視覺(jué)測(cè)試中，我們發(fā)現(xiàn)，約77%的測(cè)試受試者在編碼配方和升級(jí)算法的廣泛范圍內(nèi)更喜歡深度降分器呈現(xiàn)的最終質(zhì)量。受試者報(bào)告了更好的細(xì)節(jié)保存和更清晰的視覺(jué)外觀。個(gè)可視化的例子如下所示。


左：Lanczos降分器；右：深度降分器。這兩個(gè)視頻編碼與VP9在相同的比特率和升級(jí)到全高清分辨率(1920x1080）。您可能需要放大查看視覺(jué)差異。

我們還進(jìn)行了A/B測(cè)試，以了解深度降分器對(duì)流媒體播放的整體影響，并嘗試檢測(cè)任何設(shè)備的播放問(wèn)題。通過(guò)A/B測(cè)試，我們看到了QoE的改善，并確認(rèn)了深度降分器并沒(méi)有對(duì)某些設(shè)備產(chǎn)生不利的影響。

**我們?nèi)绾斡行У卮笠?guī)模部署神經(jīng)網(wǎng)絡(luò)？**

鑒于我們的規(guī)模，應(yīng)用神經(jīng)網(wǎng)絡(luò)可能導(dǎo)致編碼成本的顯著增加。為了有一個(gè)可行的解決方案，我們采取了幾個(gè)步驟來(lái)提高成本效率。

? 深度降分器的神經(jīng)網(wǎng)絡(luò)架構(gòu)的設(shè)計(jì)原則是：在避免負(fù)面的視覺(jué)質(zhì)量影響的前提下提升計(jì)算效率。例如，我們發(fā)現(xiàn)只需幾個(gè)神經(jīng)網(wǎng)絡(luò)層就足以滿(mǎn)足我們的需求。為了進(jìn)一步減少輸入通道的使用，我們只對(duì)亮度通道采用神經(jīng)網(wǎng)絡(luò)，而對(duì)色度通道采用傳統(tǒng)的Lanczos濾波器進(jìn)行縮放。

? 深度降分器的實(shí)現(xiàn)使用了FFmpeg軟件的濾波器接口。這樣的好處是可以與其他視頻轉(zhuǎn)換(如像素格式轉(zhuǎn)換）等已實(shí)現(xiàn)的功能一起運(yùn)行。我們的過(guò)濾器可以在CPU和GPU上運(yùn)行。在一個(gè)CPU上，我們利用Intel的oneDnn以進(jìn)一步減少延時(shí)。

**將神經(jīng)網(wǎng)絡(luò)集成到我們的下一代編碼平臺(tái)中**

Netflix 的編碼技術(shù)團(tuán)隊(duì)和媒體云工程團(tuán)隊(duì)共同創(chuàng)新開(kāi)發(fā)了名為Cosmos 的下一代編碼平臺(tái)。通過(guò)深度降分器在其上面的實(shí)現(xiàn)，我們很好地展示了Cosmos能夠如何推動(dòng)Netflix未來(lái)的媒體創(chuàng)新。下圖顯示了深度降分器是如何被集成到Cosmos的編碼微服務(wù)中來(lái)的。


將神經(jīng)網(wǎng)絡(luò)集成到我們的下一代編碼平臺(tái)中

Cosmos編碼微服務(wù)可以應(yīng)用于多個(gè)編碼工作流程。例如，可以調(diào)用其服務(wù)來(lái)分析視頻的復(fù)雜度，或者生成用于實(shí)際Netflix流媒體的編碼。其底層函數(shù)是一個(gè)無(wú)服務(wù)器層，專(zhuān)門(mén)用于運(yùn)行無(wú)狀態(tài)和密集型計(jì)算。在底層函數(shù)調(diào)用中，我們的深度降分器是在編碼之前應(yīng)用的。在Cosmos的推動(dòng)下，我們可以利用Titus基礎(chǔ)設(shè)施并在我們所有的多CPU/GPU環(huán)境中大規(guī)模運(yùn)行深度降分器。

**下一步**

深度降分器為在Netflix視頻編碼中的更多地使用神經(jīng)網(wǎng)絡(luò)應(yīng)用鋪平了道路。我們的創(chuàng)新嘗試才剛剛開(kāi)始。例如，我們正在研究一些其他的案例，比如視頻去噪。我們也在尋找更有效的大規(guī)模部署神經(jīng)網(wǎng)絡(luò)的方案。我們也在研究如何在下一代編碼器中應(yīng)用基于神經(jīng)網(wǎng)絡(luò)的工具。歸根結(jié)底，我們熱衷于使用新技術(shù)來(lái)提高Netflix的視頻質(zhì)量，只為你的觀感！

_我們想感謝以下人對(duì)“深度降分器”項(xiàng)目的幫助:  

Lishan Zhu, Liwei Guo, Aditya Mavlankar, Kyle Swanson and Anush Moorthy (Video Image and Encoding team), Mariana Afonso and Lukas Krasula (Video Codecs and Quality team), Ameya Vasani (Media Cloud Engineering team), Prudhvi Kumar Chaganti (Streaming Encoding Pipeline team), Chris Pham and Andy Rhines (Data Science and Engineering team), Amer Ather (Netflix performance team), the Netflix Metaflow team and Prof. Alan Bovik (University of Texas at Austin)._

**_原文鏈接：_**_[https://netflixtechblog.com/for-your-eyes-only-improving-netflix-video-quality-with-neural-networks-5b8d032da09c](https://netflixtechblog.com/for-your-eyes-only-improving-netflix-video-quality-with-neural-networks-5b8d032da09c)_