“芯片不僅僅是一個(gè)硬件產(chǎn)品，為了更好的貼近用戶、服務(wù)用戶，我們需要在固件和軟件的框架上投入足夠的研發(fā)資源，與客戶同步迭代更新，以適應(yīng)其快速的業(yè)務(wù)迭代要求。在深入理解用戶需求和痛點(diǎn)的基礎(chǔ)上，滿足用戶差異化的功能需求。”LiveVideoStack 很榮幸地邀請到了镕銘微電子 解決方案架構(gòu)總監(jiān) 蔡媛老師，和大家聊一聊硬件芯片在當(dāng)前視頻行業(yè)環(huán)境下所面臨的機(jī)遇與挑戰(zhàn)，以及硬件芯片產(chǎn)品開發(fā)與方案設(shè)計(jì)應(yīng)該如何更好地貼近用戶、服務(wù)用戶，滿足其更深層次的需求。

蔡媛 (Amy.Cai)，镕銘微電子，解決方案架構(gòu)總監(jiān)

LiveVideoStack：Amy 老師您好，非常高興能邀請到您接受采訪。首先，跟讀者朋友們介紹下您自己吧。

Amy：大家好，我是蔡媛 Amy。目前在镕銘微電子負(fù)責(zé)產(chǎn)品解決方案相關(guān)的工作，主要面向視頻行業(yè)客戶提供 VPU 芯片和高性能存儲的產(chǎn)品解決方案。此前我在國內(nèi)獨(dú)立云計(jì)算公司擔(dān)任視頻云產(chǎn)品技術(shù)總監(jiān)，主導(dǎo)點(diǎn)直播 / 云游戲相關(guān)的媒體處理、265 編碼、視頻質(zhì)量評測體系的建設(shè)和產(chǎn)品研發(fā)工作。更早時(shí)間就職于搜索公司基礎(chǔ)架構(gòu)團(tuán)隊(duì)，從事分布式存儲系統(tǒng)和存儲引擎相關(guān)的質(zhì)量和開發(fā)工作。

LiveVideoStack：說一說您所關(guān)注的領(lǐng)域、技術(shù)以及目前的一些工作重點(diǎn)吧，有哪些有意思的事情或心得體會？可以跟大家分享一下。

Amy：近幾年我主要是在視頻處理和視頻分發(fā)領(lǐng)域從事產(chǎn)品技術(shù)方面的工作，加入镕銘微電子后開始深入了解 VPU 芯片以及 AI 處理與視頻芯片結(jié)合相關(guān)的產(chǎn)品，并與我們的產(chǎn)品技術(shù)團(tuán)隊(duì)一起打磨行業(yè)解決方案，包括視頻直播、點(diǎn)播、云游戲、云桌面、OTT 等領(lǐng)域，實(shí)現(xiàn)行業(yè)功能需求，為客戶提供高效的視頻處理方案。

以云游戲?yàn)槔瑸榱藵M足云游戲全鏈路百毫秒以下延遲的要求，我們采用低延遲模式、零拷貝、多線程編碼等技術(shù)，實(shí)現(xiàn)更低、更穩(wěn)定的編碼延遲。對于云游戲服務(wù)提供商而言，成本方面目前壓力還是非常大的，其中帶寬成本占超過 50%。镕銘微電子最新一代編碼器 Quadra 在相同畫質(zhì)下，較 NVIDIA T4 llhp 模式可節(jié)省 30% 以上的帶寬。同時(shí)，我們還提供了碼率平滑的功能，方便客戶對碼控有更多的控制，降低帶寬波動。這些都是在與客戶磨合過程中，從硬件層到軟件層逐步完善優(yōu)化的結(jié)果，為云游戲客戶提供更具產(chǎn)品競爭力的解決方案。

在與客戶對接的過程中我們體會到芯片不僅僅是一個(gè)硬件產(chǎn)品，為了更好地貼近用戶、服務(wù)用戶，我們需要在固件和軟件的框架上投入足夠的研發(fā)資源，與客戶同步迭代更新，以適應(yīng)其快速的業(yè)務(wù)迭代要求。在深入理解用戶需求和痛點(diǎn)的基礎(chǔ)上，滿足用戶差異化的功能需求。

LiveVideoStack：互聯(lián)網(wǎng)視頻內(nèi)容的爆發(fā)增長，以及內(nèi)容質(zhì)量、分辨率要求的不斷提升，帶來了更高的視頻處理算力及編解碼性能需求。在這樣的市場環(huán)境下，存在哪些機(jī)遇與挑戰(zhàn)？镕銘微電子有哪些相應(yīng)的工作與布局？

Amy：互聯(lián)網(wǎng)視頻內(nèi)容的爆發(fā)增長對算力和帶寬的要求急劇提高，視頻流媒體已取代文字、圖片等形式成為主流，直播、點(diǎn)播、短視頻等視頻應(yīng)用已經(jīng)占據(jù)互聯(lián)網(wǎng) 80% 以上的流量。視頻行業(yè)對于清晰度和流暢性的追求貫穿始終，需要不斷提升分辨率、幀率、色域等參數(shù)以實(shí)現(xiàn)更好的視覺效果，4K、8K、10bit、HDR 已逐步在各大視頻平臺呈現(xiàn)出很好的效果。更進(jìn)一步，視頻將以感知和連接現(xiàn)實(shí)與虛擬世界為出發(fā)點(diǎn)，向三維立體的維度發(fā)展，衍生出原生云游戲、實(shí)時(shí)渲染、數(shù)字孿生等需求。傳統(tǒng)的軟件編碼方式、其密度和 TCO 成本，已經(jīng)無法應(yīng)對這些帶來的爆炸式的算力需求增長，VPU 解決方案是一個(gè)必然的選擇。

镕銘微電子最新一代產(chǎn)品 Quadra 單卡最高支持 8K 60FPS 的實(shí)時(shí)編解碼，并實(shí)現(xiàn)低于百毫秒的延時(shí)。而 H.265 軟編在 8K 60FPS 場景需要做大量的幀級 / 宏塊級并行優(yōu)化 + 復(fù)雜的分布式系統(tǒng)才能實(shí)現(xiàn)秒級延遲的直播效果。Quadra 同時(shí)支持 H.264/H.265/VP9 解碼，以及 H.264/H.265/AV1 的編碼，是全球首個(gè)支持 AV1 編碼的硬件編碼器。在畫質(zhì)方面，Quadra 較上一代產(chǎn)品從直播畫質(zhì)提高到點(diǎn)播處理要求的畫質(zhì)水平。在密度方面，在 PCIe lane 充足的 NVME SSD 機(jī)型的服務(wù)器，最高可以支持 24 張 U.2 形態(tài)的卡，整機(jī)可達(dá) 768 路 1080P 30FPS 編解碼。在互聯(lián)網(wǎng)對媒體算力要求爆炸性增長的環(huán)境下，镕銘微電子 VPU 能夠幫助客戶以最低的成本實(shí)現(xiàn)媒體處理能力的迭代升級。

LiveVideoStack：對比 CPU、GPU、FPGA、ASIC 等硬件方案，考慮需求以及各項(xiàng)條件因素的影響應(yīng)該怎樣選擇？

Amy：頭部互聯(lián)網(wǎng)公司和云計(jì)算公司都有異構(gòu)計(jì)算平臺，不同的方案有各自適合的場景以達(dá)到成本最優(yōu)的目標(biāo)。

GPU 相對而言單路碼流成本是非常高的，更適合對超級熱流做超分超幀、畫質(zhì)質(zhì)量檢測、深度畫質(zhì)增強(qiáng)的處理。FPGA 具備可編程的屬性，成本也非常高，一塊高性能 FPGA 成本就要幾千美金。ASIC 編解碼芯片在滿足超高清視頻編解碼的需求前提下，其 TCO 成本僅為行業(yè)性能領(lǐng)先的軟件編碼器成本的 1/15 - 1/20，在密度和能耗上有顯著優(yōu)勢，適合于大規(guī)模的視頻編解碼處理。谷歌在 2021 發(fā)布了其 Argos ASIC 視頻處理芯片用于 YouTube/Google  album 等應(yīng)用，每年節(jié)省數(shù)億美元的費(fèi)用。镕銘微電子的 VPU 視頻處理芯片相較谷歌的 Argos 擁有更多功能和更強(qiáng)能力、更低功耗、以及更加優(yōu)秀的系統(tǒng)適配能力，并已經(jīng)得到海內(nèi)外市場上多家大型客戶的廣泛使用和驗(yàn)證。

LiveVideoStack：镕銘微電子推出了首款商業(yè)硬件 AV1 編解碼芯片，過去一段時(shí)間，其在性能、規(guī)模化應(yīng)用等各方面的表現(xiàn)和反饋如何？后續(xù)還會有怎樣的優(yōu)化？

Amy：我們在 2021 年 11 月發(fā)布了全球首款 AV1 硬件編碼器，為 AV1 在線視頻處理提供了可行的選項(xiàng)。新一代產(chǎn)品 Quadra 的 AV1 編碼器單芯片最高編碼性能可達(dá) 32 路 1080P 30FPS 實(shí)時(shí)編碼，在一臺 1U 的服務(wù)器上插上 10 塊 Quadra U.2 形態(tài)的卡，整機(jī)可支持 320 路 AV1 實(shí)時(shí)編碼。高性能模式下，畫質(zhì)優(yōu)于開源軟編器 SVT-AV1 的畫質(zhì)；高畫質(zhì)模式下，性能消耗遠(yuǎn)低于 SVT-AV1。

在部署方面，AOM 聯(lián)盟創(chuàng)始成員對 AV1 的部署會更加積極，海外的應(yīng)用也較國內(nèi)更快，海外目前 AV1 主要應(yīng)用在點(diǎn)播 / 短視頻上，分發(fā)的目標(biāo)設(shè)備主要在智能電視和移動設(shè)備上。而遲遲未有動作的蘋果，在最近的 Safari 新 beta 版本上也把 AV1 放到媒體支持 API 中。

目前我們正在與頭部流媒體公司做 AV1 編碼集成的驗(yàn)證工作，在這個(gè)過程也會持續(xù)對 AV1 的畫質(zhì)質(zhì)量做調(diào)整優(yōu)化。

LiveVideoStack：ASIC 芯片開發(fā)無論是對硬件架構(gòu)設(shè)計(jì)，軟件實(shí)現(xiàn)或是場景優(yōu)化等各項(xiàng)能力的要求都會非常高。镕銘微電子在這些方面具有怎樣的優(yōu)勢？

Amy：確實(shí)是這樣的，從業(yè)務(wù)要求、場景適配到運(yùn)維層面要求都很高。镕銘微電子（NETINT）在創(chuàng)業(yè)之初，就定位在可計(jì)算存儲和視頻編解碼領(lǐng)域，在芯片設(shè)計(jì)之初即面向云數(shù)據(jù)中心服務(wù)器端，在芯片架構(gòu)層次上做了很多創(chuàng)新設(shè)計(jì)，全球率先采用了先進(jìn)的 Computational Storage 架構(gòu)，視頻編解碼通過標(biāo)準(zhǔn)的 NVMe 接口來處理，不需要私有的驅(qū)動程序。也因此實(shí)現(xiàn)業(yè)界最廣泛的服務(wù)器硬件以及操作系統(tǒng)兼容性，保證了數(shù)據(jù)中心大規(guī)模部署上線的運(yùn)維穩(wěn)定性。

從軟件實(shí)現(xiàn)上，我們從 Logan 這一代芯片 2019 年量產(chǎn)發(fā)布后，持續(xù)與頭部互聯(lián)網(wǎng)客戶協(xié)同進(jìn)行集成功能開發(fā)，并且做了大量音視頻碼流的兼容性工作， 僅在測試場景的積累上已超過 5 萬 + 用例覆蓋，也幫助我們自己深刻理解客戶應(yīng)用場景。大家看我們的芯片規(guī)格也知道我們的重點(diǎn)之一是編解碼。我們在編解碼算法方面有很深的積累，通過服務(wù)全球的頭部客戶在應(yīng)用領(lǐng)域積累了大量的經(jīng)驗(yàn)，這些都體現(xiàn)在我們的硬件和軟件系統(tǒng)中，得到客戶的認(rèn)可和信賴。

LiveVideoStack：當(dāng)前，許多互聯(lián)網(wǎng)廠商已經(jīng)開始紛紛發(fā)力走上芯片自研的道路。對此，您如何看待？

Amy：數(shù)據(jù)中心計(jì)算最密集的應(yīng)用程序就是視頻，視頻編解碼更是如此，非常適合采用專用集成電路 ASIC 來完成。頭部互聯(lián)網(wǎng)廠商本身有巨大的視頻流量，部分客戶投入自研說明頭部客戶對 VPU 市場需求和解決方案的高度認(rèn)可。但術(shù)業(yè)有專攻，互聯(lián)網(wǎng)公司和芯片公司各有自己擅長的領(lǐng)域，預(yù)計(jì)未來 VPU 市場會形成頭部自研客戶和專業(yè) VPU 芯片公司某種程度合作的局面。

另外，芯片的競爭也是生態(tài)體系的競爭，場景越豐富、用量越大、兼容的服務(wù)器廠商和操作系統(tǒng)越多，生態(tài)會更健全，也更理解海量客戶的場景。镕銘微電子 VPU 作為一直深耕這個(gè)領(lǐng)域的領(lǐng)軍者和專業(yè)廠商，我們也在不斷地創(chuàng)新和優(yōu)化，努力提供更加適用于不同場景、更加可靠的解決方案，成為客戶可信賴的合作伙伴。

LiveVideoStack：對于未來下一代硬件視頻編解碼方案，在技術(shù)創(chuàng)新以及場景應(yīng)用等方面，有哪些值得期待的可能？

Amy：對于下一代產(chǎn)品，向大家透露一些值得期待的方向。一方面是畫質(zhì)，片上的專用處理芯片將會把 AI 與視頻編碼結(jié)合，將原來 GPU 才能完成的畫質(zhì)增強(qiáng)、超分超幀能力、畫質(zhì)質(zhì)量探測以更高效、更低的成本實(shí)現(xiàn)規(guī)模化應(yīng)用；第二方面，對新的視頻編碼標(biāo)準(zhǔn)的支持也在產(chǎn)品規(guī)劃內(nèi)；第三方面是應(yīng)用場景的適配，也將是未來的重點(diǎn)工作，包括互動娛樂場景、云渲染編碼、云桌面場景、視頻會議場景、OTT 場景等都是值得期待的場景。

LiveVideoStack：接下來 LiveVideoStackCon 2022 北京站 大會現(xiàn)場您還會帶來怎樣的精彩分享？可否提前跟大家劇透下，有哪些關(guān)鍵內(nèi)容是值得關(guān)注的？

Amy：本次會議我將重點(diǎn)介紹镕銘微電子 VPU 如何幫助客戶實(shí)現(xiàn)極致增效降 "本"，在媒體計(jì)算上為客戶實(shí)現(xiàn) 20-40 倍 TCO 成本下降，并提供穩(wěn)健的運(yùn)維方法、全面的服務(wù)器和內(nèi)核兼容、免驅(qū)動適配能力，在運(yùn)維層面保障在大規(guī)模數(shù)據(jù)中心的順利落地，這些與镕銘微電子 VPU 的軟硬件設(shè)計(jì)密切相關(guān)，我本次會對此做重點(diǎn)分享。同時(shí)，我將介紹基于新一代 Quadra VPU 的全球首個(gè)硬件智能極速高清產(chǎn)品，如何將歷來成本高企的 AI 增強(qiáng)視頻產(chǎn)品帶入到規(guī)模應(yīng)用中。歡迎大家前來會場一起探討。

LiveVideoStack：好的，感謝您接受采訪，期待您在大會上的精彩分享。