世界上有一只叫Alice的鯨魚，發(fā)聲頻率為52赫茲，因而無法與叫聲頻率在15-25赫茲的同類普通鯨魚正常交流。但在長(zhǎng)年的追蹤中，研究人員發(fā)現(xiàn)，它并非是“最孤獨(dú)的存在”，它只是擁有自己的語(yǔ)言。

對(duì)天津理工大學(xué)鯨言創(chuàng)益團(tuán)隊(duì)里的聾人學(xué)生們來說，手語(yǔ)就是一種和“52赫茲”相似的獨(dú)特語(yǔ)言，他們希望這個(gè)語(yǔ)言能被其他人所理解。

教AI學(xué)手語(yǔ)

“我們現(xiàn)在做的雙向翻譯是語(yǔ)音識(shí)別加上手語(yǔ)識(shí)別，左邊那個(gè)部分是語(yǔ)音識(shí)別，可以將健聽人說的話以文字形式翻譯給聾人。當(dāng)聽障人士要跟我們普通人交流的時(shí)候，右邊的窗口顯示的就是手語(yǔ)翻譯出來的文字。”天津理工大學(xué)聾人工學(xué)院教授袁甜甜為記者演示智能手語(yǔ)翻譯機(jī)器人。

天津理工大學(xué)聾人工學(xué)院是天津市政府和中國(guó)殘聯(lián)合作創(chuàng)辦、我國(guó)第一所面向全國(guó)招收聾人的高等工科特殊教育學(xué)院，培養(yǎng)了一批計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)、網(wǎng)絡(luò)工程專業(yè)等專業(yè)的聾人本科學(xué)生。由于學(xué)院學(xué)生均有不同程度的聽力殘疾，手語(yǔ)是他們主要交流語(yǔ)言。2016年，學(xué)生們萌生了將手語(yǔ)和他們所學(xué)的計(jì)算機(jī)專業(yè)知識(shí)相結(jié)合的想法，要教AI學(xué)手語(yǔ)，讓機(jī)器成為隨叫隨到、及時(shí)準(zhǔn)確的“手語(yǔ)翻譯”。這個(gè)想法吸引了來自聾人工學(xué)院的計(jì)算機(jī)科學(xué)與工程學(xué)院的師生，他們組成了鯨言創(chuàng)益無障礙智能科技研發(fā)團(tuán)隊(duì)。團(tuán)隊(duì)現(xiàn)有45人，包含博士、碩士和本科三個(gè)階段的學(xué)生，其中60%是聾生。

朱宇就是天津理工大學(xué)聾人工學(xué)院一名研二學(xué)生。他逆著陽(yáng)光站在飲水機(jī)旁，在智能手語(yǔ)翻譯機(jī)器人前揮舞雙手，依次打出“你”、“名字”、“什么”的手勢(shì)，并做出疑惑的表情。在他面前的屏幕上立刻翻譯道：“你叫什么名字？”并發(fā)出了語(yǔ)音播報(bào)。站在朱宇身邊的劉敬澤是手語(yǔ)翻譯系統(tǒng)開發(fā)者兼翻譯員，負(fù)責(zé)用系統(tǒng)的語(yǔ)音翻譯模塊做出“測(cè)試成功”的回復(fù)。

朱宇（左一）正在面向智能手語(yǔ)翻譯機(jī)器人打手語(yǔ)。鯨言智能團(tuán)隊(duì) 供圖

“為14億人服務(wù)”

由于手語(yǔ)普及率低，失語(yǔ)者只靠手語(yǔ)無法與大多數(shù)健聽人交流。而要學(xué)習(xí)自然手語(yǔ)并不容易，因?yàn)檫@是一種聾人在交流中產(chǎn)生的、復(fù)雜的、基于視覺信息的語(yǔ)言，與有聲語(yǔ)言存在較大差異。袁甜甜已經(jīng)在聾人工學(xué)院計(jì)算機(jī)系工作近16年，自從走上教職崗位，她便自學(xué)了手語(yǔ)，但是“學(xué)生描述的情況一復(fù)雜，或者打手語(yǔ)的速度太快，我就只能看懂一部分了” 。

對(duì)聾人來說，用書寫的方式表達(dá)，也不是件容易事。手語(yǔ)沒有文字，他們必須付出更多的努力來理解有聲世界的語(yǔ)言。當(dāng)他們學(xué)會(huì)漢字后，受手語(yǔ)表達(dá)規(guī)律影響，他們寫出的句子容易出現(xiàn)語(yǔ)序錯(cuò)誤，語(yǔ)氣也會(huì)相對(duì)生硬。因此，即使部分聾人雖然能通過讀唇語(yǔ)、語(yǔ)音轉(zhuǎn)寫等方式理解健聽人，但如何讓健聽人讀懂他們?nèi)匀皇菙[在現(xiàn)實(shí)面前的一道難題。

鯨言智能手語(yǔ)翻譯系統(tǒng)能夠在完成手語(yǔ)識(shí)別后，通過自然語(yǔ)言處理技術(shù)，將聾人打出的手語(yǔ)詞匯調(diào)換順序，轉(zhuǎn)換成通順的漢語(yǔ)句子，并以文字或語(yǔ)音的方式展現(xiàn)。在深度學(xué)習(xí)服務(wù)器上進(jìn)行本地運(yùn)算，翻譯響應(yīng)速度可以達(dá)到毫秒級(jí)，實(shí)現(xiàn)實(shí)時(shí)手語(yǔ)翻譯。未來通過與中國(guó)聯(lián)通的合作，使用5G技術(shù)，將終端與計(jì)算中心相連，傳遞視頻信息與翻譯結(jié)果，降低GPU成本，越來越多的翻譯終端將會(huì)出現(xiàn)在更多有需求的地方。據(jù)袁甜甜介紹，中國(guó)農(nóng)業(yè)銀行、天津120急救中心、vivo等單位表達(dá)出合作意向，越來越多的企業(yè)對(duì)智能手語(yǔ)翻譯產(chǎn)生關(guān)注和興趣，需求也越來越旺盛。

9月8日，以“推廣普通話，喜迎二十大”為主題的第25屆全國(guó)推廣普通話宣傳周在云南省怒江傈僳族自治州瀘水市開幕。袁甜甜老師帶隊(duì)參加了本次推普“智能+”展示活動(dòng)，以“復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”對(duì)國(guó)家通用手語(yǔ)的識(shí)別和翻譯為主要推廣展示內(nèi)容，得到了教育部副部長(zhǎng)田學(xué)軍、云南省副省長(zhǎng)張治禮及教育部語(yǔ)用司司長(zhǎng)周為等領(lǐng)導(dǎo)同志的一致好評(píng)，并在系統(tǒng)實(shí)施、推廣等方面提出了殷切希望。

“之前有的人說系統(tǒng)就服務(wù)聾人群體，我說難道這個(gè)系統(tǒng)就是為了服務(wù)聾人的嗎？我們是為了服務(wù) 14 億中國(guó)人。”袁甜甜說，“這個(gè)系統(tǒng)是工具，讓健聽人去理解聾人。”

智能技術(shù)讓愛跨越語(yǔ)言的屏障

復(fù)雜的應(yīng)用場(chǎng)景、手語(yǔ)與漢語(yǔ)迥異的表達(dá)邏輯、表情加手勢(shì)加肢體動(dòng)作幅度的“多信道”表達(dá)……這些問題都曾是阻礙了手語(yǔ)智能識(shí)別翻譯的難題，但對(duì)鯨言創(chuàng)益團(tuán)隊(duì)來說，并不是無法跨越的鴻溝。這是因?yàn)樽?018年起，團(tuán)隊(duì)堅(jiān)持采集、標(biāo)記了30萬條自然手語(yǔ)視頻語(yǔ)料，為人工智能整理出一套可供學(xué)習(xí)的資料。

此前，國(guó)內(nèi)外只有小型手勢(shì)漢語(yǔ)語(yǔ)料庫(kù)，僅提供手勢(shì)與漢語(yǔ)詞匯的對(duì)應(yīng)關(guān)系。但只有廣泛學(xué)習(xí)和比對(duì)不同的手語(yǔ)使用者的造句方法和語(yǔ)境，才能準(zhǔn)確讀懂并翻譯聾人的表達(dá)。因此手語(yǔ)數(shù)據(jù)收集、標(biāo)注是一項(xiàng)成本高、內(nèi)容瑣碎、工作量極大的事情。

鯨言團(tuán)隊(duì)還利用鯨言創(chuàng)益App向全社會(huì)征集手語(yǔ)語(yǔ)料，目前已有二三百采集者。“很多（機(jī)構(gòu)）做數(shù)據(jù)集，就是盡量減少識(shí)別難度。他們提供的背景非常干凈，大白墻或者是綠幕，只能讓計(jì)算機(jī)學(xué)會(huì)識(shí)別實(shí)驗(yàn)室環(huán)境里的手語(yǔ)。”袁甜甜介紹，“而我們只對(duì)衣服顏色和背景、手的起止位置做簡(jiǎn)單要求，基本是在自然狀態(tài)下完成采集。”讓計(jì)算機(jī)學(xué)會(huì)在紛雜的背景環(huán)境里準(zhǔn)確識(shí)別手語(yǔ)，這不容易，鯨言團(tuán)隊(duì)正不斷做出技術(shù)攻克。他們也向研究機(jī)構(gòu)和企業(yè)共享這些數(shù)據(jù)，“大家可能都是一個(gè)想法，希望AI能通過復(fù)雜語(yǔ)料的訓(xùn)練，在實(shí)際交流場(chǎng)景中完成翻譯工作。”

鯨言手語(yǔ)翻譯的發(fā)展，似乎并非源自于計(jì)算機(jī)智能技術(shù)的驚天突破，而是依靠團(tuán)隊(duì)長(zhǎng)期的數(shù)據(jù)累積和不斷攻克難關(guān)的決心，才能掙脫于以往手語(yǔ)語(yǔ)料庫(kù)極其匱乏的困境。

鯨言手語(yǔ)翻譯實(shí)現(xiàn)了國(guó)家通用語(yǔ)言文字與手語(yǔ)這兩種不同語(yǔ)言的實(shí)時(shí)互譯，在天津理工大學(xué)計(jì)算機(jī)學(xué)院研二學(xué)生孫悅看來，就是在“架橋”，讓“生活在兩個(gè)世界、各自走著互不相干的路”的健聽人與聾人“相遇并彼此溫暖”。

他們用AI跨過了語(yǔ)言的屏障，讓愛成為我們共同的語(yǔ)言。