- +1
相由心生?面部算法分析能否窺測(cè)你的內(nèi)心?
目前甚囂塵上的研究認(rèn)為人的頭部和臉部形狀能夠揭示性格特征,與被遺棄已久的面相偽科學(xué)有著令人不安的相似性。現(xiàn)在,計(jì)算機(jī)更擅長(zhǎng)于掃描人體生理學(xué)上微小的細(xì)節(jié),現(xiàn)代研究人員由此認(rèn)為,他們所得出的推論更加可靠。而在另一面,批評(píng)者認(rèn)為這純屬無(wú)稽之談。他們指出,幾乎沒(méi)有證據(jù)表明,外在的身體特征或其他特征能夠預(yù)測(cè)行為。在任何情況下,機(jī)器只會(huì)學(xué)習(xí)我們教給它們的東西,但人類(lèi)是一個(gè)糟糕的老師,因?yàn)槲覀兩砩掀毡榇嬖诠_(kāi)的或微妙而不被承認(rèn)的偏見(jiàn)和偏頗的思維。

你的眉毛形狀是否出賣(mài)了你的性格?
上學(xué)第一天,一個(gè)孩子面朝與學(xué)校電腦相連的數(shù)碼相機(jī)??焖賿呙韬?,這臺(tái)機(jī)器報(bào)告說(shuō),這個(gè)孩子的面部輪廓預(yù)示了她可能具有的攻擊性,于是她被標(biāo)記,此后在學(xué)校里受到額外的監(jiān)督。不遠(yuǎn)處,另一個(gè)人工智能篩查系統(tǒng)掃描了一個(gè)男人的面龐,它從他的眉毛形狀推斷出他可能性格內(nèi)向,所以他錯(cuò)失了銷(xiāo)售工作的機(jī)會(huì)。與此同時(shí),整形外科醫(yī)生淹沒(méi)在無(wú)數(shù)的手術(shù)要求中,人們渴望一張沒(méi)有表現(xiàn)出任何“壞”特征的“完美”面孔。
一些學(xué)者警告說(shuō),由于大數(shù)據(jù)的崛起和機(jī)器學(xué)習(xí)的進(jìn)步,這種反烏托邦的噩夢(mèng)可能并不牽強(qiáng),更令人擔(dān)憂(yōu)的是,目前甚囂塵上的研究認(rèn)為人的頭部和臉部形狀能夠揭示性格特征,與被遺棄已久的面相偽科學(xué)有著令人不安的相似性。現(xiàn)在,計(jì)算機(jī)更擅長(zhǎng)于掃描人體生理學(xué)上微小的細(xì)節(jié),現(xiàn)代研究人員由此認(rèn)為,他們所得出的推論更加可靠。而在另一面,批評(píng)者認(rèn)為這純屬無(wú)稽之談。他們指出,幾乎沒(méi)有證據(jù)表明,外在的身體特征或其他特征能夠預(yù)測(cè)行為。在任何情況下,機(jī)器只會(huì)學(xué)習(xí)我們教給它們的東西,但人類(lèi)是一個(gè)糟糕的老師,因?yàn)槲覀兩砩掀毡榇嬖诠_(kāi)的或微妙而不被承認(rèn)的偏見(jiàn)和偏頗的思維。
但研究仍在繼續(xù)。
就在一年前,麥克馬斯特大學(xué)工程學(xué)教授武筱林和上海交通大學(xué)的張希在arXiv.org(一家廣受歡迎的在線知識(shí)庫(kù),用于發(fā)表不同研究階段的未審核科學(xué)論文)上聯(lián)合發(fā)表的論文指出,計(jì)算機(jī)可能只需根據(jù)照片掃描就能預(yù)測(cè)誰(shuí)是被定罪的犯人。(該研究已被刪除,但作者在該網(wǎng)發(fā)表了對(duì)批評(píng)者的回應(yīng)。)另一項(xiàng)研究表明,機(jī)器學(xué)習(xí)可以用來(lái)推斷女性的性格特征,她們的照片被標(biāo)上不同的詞語(yǔ)——比如妖艷的和甜美的,或者可愛(ài)的和浮夸的——這項(xiàng)研究是一群年輕的中國(guó)男人做出的。
雖然該文摘要指出,該算法只是在學(xué)習(xí)和聚合,然后反芻(regurgitating)人類(lèi)的感知,很容易出錯(cuò),但是作者還是表示:“我們的經(jīng)驗(yàn)證據(jù)指向了訓(xùn)練機(jī)器學(xué)習(xí)算法的可能性,比如使用人臉圖像預(yù)測(cè)人格特征和行為傾向?!?/p>
9月初,斯坦福大學(xué)的邁克爾·科辛斯基(Michal Kosinski)和王軼倫發(fā)布了一項(xiàng)研究的預(yù)稿,報(bào)告表明,利用約會(huì)網(wǎng)站上的照片可能檢測(cè)出一個(gè)人是否是同性戀。這篇論文被提交給聲名卓著的《人格與社會(huì)心理學(xué)雜志》(Journal of Personality and Social Psychology)并被該雜志接受,盡管今年秋天,為了回應(yīng)公眾的強(qiáng)烈抗議,雜志編輯決定重審這篇論文,包括所謂的倫理評(píng)審。
目前所有的爭(zhēng)議研究,它們的基本假設(shè)并不是什么新鮮事兒。
面相學(xué)的起源可以追溯到古代的美索不達(dá)米亞,但直到19世紀(jì)中期意大利犯罪學(xué)家切薩雷·龍勃羅梭(Cesare Lombroso)才打算用它來(lái)檢測(cè)犯罪行為。龍勃羅梭相信,可以通過(guò)面部結(jié)構(gòu)的異常情況來(lái)識(shí)別罪犯——基本上,他們都是“退化”的,會(huì)有一些“返祖”特征,比如傾斜的前額和不對(duì)稱(chēng)的面部。他的觀點(diǎn)在二戰(zhàn)后被拋棄,但仍有一些科學(xué)家繼續(xù)尋找身體和思想之間的聯(lián)系。
許多這些研究與人類(lèi)的感知有關(guān)——我們是否因所見(jiàn)不同而所感不同,即便這種知覺(jué)是不準(zhǔn)確的。另一些人則尋找人類(lèi)之間的形態(tài)差異,搜尋諸如攻擊性、內(nèi)向或同性戀等特征的跡象。例如,有幾項(xiàng)研究表明,臉部的長(zhǎng)寬比——這項(xiàng)指標(biāo)與睪酮激素有關(guān)——可能提供線索判斷一個(gè)人的攻擊性?xún)A向。
但是,隨著海量數(shù)據(jù)和先進(jìn)計(jì)算能力的興起,一些科學(xué)家和心理學(xué)家開(kāi)始相信“神經(jīng)網(wǎng)絡(luò)”——機(jī)器學(xué)習(xí)中使用的網(wǎng)絡(luò)系統(tǒng)——能夠比過(guò)去用更少的偏見(jiàn)來(lái)分析生理和心理特征。以往的科學(xué)家只能向本科生展示幾十個(gè)人的照片,測(cè)量少數(shù)幾個(gè)因素,而互聯(lián)網(wǎng)則打開(kāi)了無(wú)窮無(wú)盡的輸入寶庫(kù)。面部識(shí)別軟件可以測(cè)量成千上萬(wàn),乃至數(shù)百萬(wàn)人的網(wǎng)絡(luò)照片,從而獲得更多的——希望也是更好的——數(shù)據(jù)。
支持者們說(shuō),這些信息被輸入到可以探測(cè)最細(xì)微模式的機(jī)器上,而機(jī)器能夠捕捉到人眼無(wú)法識(shí)別的物理差異。
這聽(tīng)起來(lái)激動(dòng)人心。但對(duì)于很多批評(píng)者而言,隱藏在數(shù)學(xué)算法表象之下的,只是一種普通而古老的拙劣科學(xué)——現(xiàn)在用的是算法,而不是一個(gè)人拿著卡尺測(cè)量鼻子和眉毛。他們還引述了無(wú)數(shù)關(guān)于道德、隱私和各種有意無(wú)意潛在偏見(jiàn)的擔(dān)憂(yōu),害怕這些算法可能在某一天通過(guò)一次掃描就決定我們的命運(yùn)。
面部識(shí)別測(cè)量的可能僅僅是社會(huì)心理感知
雖然很少有科學(xué)家能夠否認(rèn),身體特征有時(shí)能夠揭示人體內(nèi)的硬指標(biāo),比如睪酮激素與人臉之間的聯(lián)系,但從這些觀察中能夠得出的推論微乎其微。格拉斯哥大學(xué)神經(jīng)科學(xué)與心理學(xué)研究所面部研究實(shí)驗(yàn)室負(fù)責(zé)人麗莎·德布林(Lisa DeBruine)將自己描述成一個(gè)進(jìn)化心理學(xué)家,但她并不回避這個(gè)領(lǐng)域的缺陷。至于面部長(zhǎng)寬比,她說(shuō):“這一領(lǐng)域的研究實(shí)在是一團(tuán)糟?!焙艽蟪潭壬鲜且?yàn)槿斯せ蛴?jì)算機(jī)測(cè)量的前后不一致性,例如從下巴到眉毛或者顴骨到顴骨的距離。
德布林是科辛斯基研究的眾多批評(píng)者之一,該研究試圖訓(xùn)練一臺(tái)計(jì)算機(jī)識(shí)別誰(shuí)是同性戀,誰(shuí)是異性戀,所用的數(shù)據(jù)是一家約會(huì)網(wǎng)站上的照片,在這個(gè)網(wǎng)站上,用戶(hù)清楚地標(biāo)明他們的性取向和偏好。科辛斯基聲稱(chēng),給定兩張新的照片,一張是異性戀,一張是同性戀,計(jì)算機(jī)能夠以很高的準(zhǔn)確率猜測(cè)哪一個(gè)是同性戀。他還用計(jì)算機(jī)從未接觸過(guò)的臉書(shū)照片測(cè)試這個(gè)算法,結(jié)果似乎是正確的——至少能準(zhǔn)確判別誰(shuí)是同性戀。該算法在識(shí)別異性戀上表現(xiàn)沒(méi)有那么好。
(這聽(tīng)起來(lái)可能違反直覺(jué),但這一算法沒(méi)有采用排除法。更確切說(shuō),給定一張照片,在同性戀和異性戀中二選一,同性戀照片判定正確的概率高于異性戀。)
科辛斯基在論文中說(shuō),計(jì)算機(jī)對(duì)與產(chǎn)前激素理論(prenatal hormone theory,PHT)相一致的特定面部特征進(jìn)行零位調(diào)整(zeroing),這一理論認(rèn)為同性戀是在子宮中暴露于不同水平的雄激素?!澳型团哂胁坏湫偷男詣e面部特征,”這位科學(xué)家寫(xiě)道,“正如PHT所預(yù)測(cè)的那樣。”科辛斯基認(rèn)為,產(chǎn)前激素理論是一種“被廣泛接受”的同性戀起源模型。
但是批評(píng)者說(shuō),科辛斯基的公式有好幾個(gè)問(wèn)題,包括各種刻板印象的假設(shè),沒(méi)有意識(shí)到PHT未必像聽(tīng)起來(lái)那么可靠,計(jì)算機(jī)可能在判斷同性戀的特征集合之外抓取別的東西。
奧柏林學(xué)院社會(huì)學(xué)副教授格雷戈?duì)枴ゑR特森(Greggor Mattson)說(shuō),子宮中的睪酮激素暴露導(dǎo)致同性戀的想法,一定程度上取決于男同女性化和女同男性化的刻板印象。他在一封電子郵件中說(shuō):“他的工作成果強(qiáng)化了陳腐的刻板印象和糟糕的性科學(xué)?!彼赋?,數(shù)據(jù)科學(xué)本身并不是問(wèn)題,問(wèn)題是如何解釋數(shù)據(jù)。
馬里蘭大學(xué)社會(huì)學(xué)教授菲利普·科恩(Philip N. Cohen)在一篇博客文章中指出,科辛斯基的工作與PHT并不矛盾,但也沒(méi)有提供太多的支持。范德比爾特大學(xué)的人類(lèi)學(xué)家卡維爾·比約克-詹姆斯(Carwil Bjork-James)指出,PHT的爭(zhēng)議性遠(yuǎn)大于科辛斯基所認(rèn)為的。
根據(jù)比約克-詹姆斯的說(shuō)法,科辛斯基的主要問(wèn)題是未能認(rèn)識(shí)到各種混雜的因素。比如,約會(huì)網(wǎng)站上的照片可能不具有代表性。“人們會(huì)挑選照片,”他說(shuō),“如果我要在同性約會(huì)網(wǎng)站上放點(diǎn)東西,我會(huì)選擇最‘同志’的照片。”是否是同性戀以及如何傳達(dá)這一信息,是一個(gè)自我呈現(xiàn)與他人感知之間復(fù)雜的相互作用。但是科辛斯基和他的團(tuán)隊(duì)“直接跳到了產(chǎn)前激素失衡理論”。
科辛斯基堅(jiān)持,這項(xiàng)測(cè)試并沒(méi)有測(cè)試PHT,而僅僅是測(cè)試一個(gè)算法是否可以用來(lái)“找出”同性戀,而他想要警告人們存在這樣的技術(shù)。他說(shuō):“看!如果一個(gè)人、一個(gè)國(guó)家或者一個(gè)機(jī)構(gòu)想要‘找出’某類(lèi)人,這就是個(gè)很好的篩查工具。”
然而,即便是科辛斯基也承認(rèn),計(jì)算機(jī)可能抓取了一些除不可變的面部特征之外的東西。例如,他的算法假定同性戀更有可能戴眼鏡。科辛斯基說(shuō):“很多人都疑惑,為什么戴眼鏡的面孔被算法認(rèn)為更有可能是同性戀,可能還有其他的面部特征與戴眼鏡有關(guān)。”
武筱林的批評(píng)者也對(duì)識(shí)別罪犯的計(jì)算機(jī)算法的訓(xùn)練數(shù)據(jù)提出了類(lèi)似的問(wèn)題。他的研究使用罪犯的識(shí)別照片和來(lái)自網(wǎng)絡(luò)搜索的非罪犯照片集。但是華盛頓大學(xué)進(jìn)化生物學(xué)教授卡爾·伯格斯特龍(Carl Bergstrom)和該校信息學(xué)院助理教授杰文·韋斯特(Jevin West)評(píng)價(jià)武筱林的工作時(shí)說(shuō),人工智能算法可能在表情(expression)上發(fā)現(xiàn)了細(xì)微的差別。(武筱林在給批評(píng)者的公開(kāi)信中承認(rèn)了這一點(diǎn)。)
盡管如此,即便照片中的罪犯和被輸入計(jì)算機(jī)的非罪犯之間確實(shí)存在生理上的差異,那也可能只是揭露了中國(guó)刑事審判體系中更多的刻板印象。批評(píng)者還指出,這些罪犯的照片來(lái)源缺乏透明度。(武筱林在研究中說(shuō),一些照片來(lái)自中國(guó)的警察部門(mén),但他簽署了保密協(xié)議。)
比約克-詹姆斯指出,武筱林的后續(xù)研究也有類(lèi)似的問(wèn)題。這可能對(duì)中國(guó)男性的刻板印象進(jìn)行了很好的研究,但對(duì)女性的行為或個(gè)性一無(wú)所涉。
在一封電子郵件中,武筱林似乎表示同意:“我們的研究?jī)H僅是關(guān)于對(duì)臉部的社會(huì)心理感知,而人工智能算法預(yù)測(cè)的這些感知本身的有效性如何,我們的研究沒(méi)有任何結(jié)論?!?/p>
商業(yè)公司也在進(jìn)入古老的面相學(xué)領(lǐng)域
科學(xué)家并非唯一一批進(jìn)入面相學(xué)的人。一家以色列創(chuàng)業(yè)公司Faception的廣告宣傳說(shuō),他們的面部識(shí)別技術(shù)能夠通過(guò)某些特征識(shí)別戀童癖和恐怖分子??偛课挥诓ㄊ款D的Affectiva公司開(kāi)發(fā)了一個(gè)面部識(shí)別系統(tǒng),自稱(chēng)可以幫助廣告商檢測(cè)情緒。
麻省理工學(xué)院博士生、喬治敦大學(xué)隱私與技術(shù)中心技術(shù)專(zhuān)家喬納森·弗蘭克(Jonathan Frankle)說(shuō),我們經(jīng)常不知道這些算法是如何工作的。與普通代碼不同的是,神經(jīng)網(wǎng)絡(luò)包含的節(jié)點(diǎn)是相互關(guān)聯(lián)的,進(jìn)程是并行發(fā)生的。一個(gè)神經(jīng)網(wǎng)絡(luò)不只是按順序執(zhí)行一組指令;相反,節(jié)點(diǎn)之間相互交談,互相給予反饋。實(shí)在沒(méi)有任何辦法來(lái)追蹤它如何做出決定——我們不能只看一行代碼或者一個(gè)子例程(subroutine),它實(shí)際上是一個(gè)黑箱。
這意味著我們根本搞不清楚,我們?cè)O(shè)計(jì)的算法和人工智能引擎是否正在抓取我們認(rèn)為它們?cè)谧ト〉奶卣鳎菩了够难芯糠从沉诉@一點(diǎn):當(dāng)它試圖合成一個(gè)男同性戀標(biāo)準(zhǔn)臉,它是戴眼鏡的,但是沒(méi)有證據(jù)表明同性戀的視力問(wèn)題比人口平均水平更加嚴(yán)重??菩了够f(shuō),這可能是男同性戀的時(shí)尚選擇,但是這削弱了同性戀具有特異臉部形態(tài)的論點(diǎn)。
我們不知道人工智能正在做什么,尤其令人擔(dān)憂(yōu)的情況是,一家像Faception這樣的創(chuàng)業(yè)公司做廣告說(shuō)它可以檢測(cè)社會(huì)威脅,而出于保守商業(yè)秘密的需要,這家公司的首席執(zhí)行官沙伊·吉爾伯(Shai Gilboa)對(duì)如何設(shè)計(jì)算法以及他們使用何種數(shù)據(jù)來(lái)訓(xùn)練算法這些問(wèn)題語(yǔ)焉不詳。但他卻強(qiáng)調(diào),F(xiàn)aception的系統(tǒng)基于可靠的研究,而且沒(méi)有偏見(jiàn)?!皬膫惱淼慕嵌葋?lái)說(shuō),這是非常重要的,”他說(shuō),“我們反復(fù)證明,我們并沒(méi)有把膚色或種族作為衡量標(biāo)準(zhǔn)?!?/p>
與此同時(shí),Affectiva并沒(méi)有說(shuō)它可以從面部結(jié)構(gòu)中發(fā)現(xiàn)任何關(guān)于先天人格特征之類(lèi)的東西,而只能檢測(cè)一個(gè)人的情緒狀態(tài)。首席執(zhí)行官拉娜·卡柳比(Rana el Kaliouby)進(jìn)一步補(bǔ)充道,她的公司用來(lái)自不同國(guó)家的對(duì)象訓(xùn)練人工智能,并將這部分人口作為比較的基準(zhǔn)點(diǎn)(例如,在中國(guó)或巴西運(yùn)行的軟件將使用來(lái)自該國(guó)人口的圖片進(jìn)行訓(xùn)練)。
卡柳比說(shuō),這種方法能夠避免忽略人們情感表達(dá)背后的文化差異。最重要的是,她說(shuō),Affectiva團(tuán)隊(duì)對(duì)人工智能進(jìn)行審問(wèn),以確定在解讀面部表情的時(shí)候它們知道自己抓取了什么。
人們總是傾向于相信有數(shù)學(xué)支撐的東西
在所有的技術(shù)擔(dān)憂(yōu)中,批評(píng)者還關(guān)注倫理問(wèn)題??菩了够芯渴褂玫恼掌唇?jīng)許可,他沒(méi)有與任何同性戀組織有密切合作。(美國(guó)最著名的LGBDQ權(quán)利組織之一GLAAD與人權(quán)運(yùn)動(dòng)組織發(fā)表了聯(lián)合聲明,指責(zé)該研究的方法。)在武筱林的案例中,罪犯照片由中國(guó)警察部門(mén)提供,但他不能說(shuō)出是什么單位。這兩項(xiàng)研究都引起了人們的擔(dān)憂(yōu),如果一些政府或私人企業(yè)從一開(kāi)始就決定使用這些具有歧視意圖的技術(shù),將會(huì)發(fā)生什么?
而批評(píng)者認(rèn)為,被建構(gòu)起來(lái)的面部算法分析實(shí)際上不過(guò)是一種脆弱的、文化構(gòu)建的假設(shè),這是最令人擔(dān)憂(yōu)的。德布林在一封電子郵件中說(shuō):“社會(huì)心理學(xué)也有嚴(yán)肅的問(wèn)題,它往往受到英語(yǔ)母語(yǔ)使用者、異性戀者、白人意識(shí)的主導(dǎo),這無(wú)疑推動(dòng)了這類(lèi)研究。我無(wú)法想象,如果整個(gè)渠道的某些節(jié)點(diǎn)(同事、倫理委員會(huì)、編輯、評(píng)論家等)有更多不同背景的人員占據(jù)了有影響力的位置,科辛斯基的研究還能走得現(xiàn)在這么遠(yuǎn)?!?/p>
在某種意義上,弗蘭克慶幸這類(lèi)研究出現(xiàn)在公開(kāi)的文獻(xiàn)中。他說(shuō):“我寧愿它是由學(xué)術(shù)研究者公開(kāi)的,而不是由私人公司開(kāi)發(fā)并賣(mài)給警察機(jī)構(gòu)的?!?/p>
喬治敦大學(xué)隱私與技術(shù)中心助理克萊爾·加維(Clare Garvie)說(shuō),這些研究中的問(wèn)題并不是總是科學(xué)本身,盡管它是可質(zhì)疑的,而是人類(lèi)傾向于相信計(jì)算機(jī)——或者聽(tīng)起來(lái)有數(shù)學(xué)支撐的東西。她說(shuō):“這種工具決定了誰(shuí)能進(jìn)入一個(gè)國(guó)家或者得到一份工作。如果科辛斯基的成果或者類(lèi)似的東西能夠在權(quán)威的期刊上發(fā)表,那么Faception的主張就可能得到支持。然而,F(xiàn)aception的營(yíng)銷(xiāo)材料表示可以用針織帽和山羊胡來(lái)識(shí)別恐怖分子,這并不能讓加維感到安心。
在吉爾伯看來(lái),網(wǎng)絡(luò)圖片僅僅是一個(gè)設(shè)計(jì)決定,他還提供了幾項(xiàng)關(guān)于面部勻稱(chēng)和人格之間關(guān)系的研究,其中一些關(guān)注營(yíng)銷(xiāo)和廣告,另一些涵蓋人格類(lèi)型的地理分布,沒(méi)有一項(xiàng)研究直接支持Faception的主張。
解決這些問(wèn)題并非絕無(wú)可能,而且大多數(shù)接受采訪的專(zhuān)家都同意,這樣的研究可以做得更好,比如美國(guó)圣母大學(xué)計(jì)算機(jī)科學(xué)的助理教授沃爾特·斯切爾(Walter Scheirer)說(shuō),計(jì)算機(jī)科學(xué)領(lǐng)域人才多元化或許有所幫助,計(jì)算機(jī)科學(xué)和其他學(xué)科之間應(yīng)該進(jìn)行更廣泛的對(duì)話。
紐約州立大學(xué)布法羅分校的傳播學(xué)教授馬克·弗蘭克(Mark Frank)補(bǔ)充道,多一點(diǎn)謙遜和懷疑也會(huì)有所幫助,他表示:”計(jì)算機(jī)科學(xué)對(duì)行為事務(wù)的理解是迷人的——這是我要用的詞?!彼麄兯鶞y(cè)量的現(xiàn)象有如此之多的復(fù)雜性,而身體和行為之間的任何聯(lián)系都比這些初步研究表明的東西更加微妙,也受到更多混雜因素的影響。
進(jìn)化生物學(xué)家伯格斯特龍認(rèn)為,所有這些研究都源于長(zhǎng)期存在的、在身體中尋找編碼的心理學(xué)的渴望——即便可能是錯(cuò)誤的。他說(shuō):“我確實(shí)認(rèn)為,這種想法在人類(lèi)思維中根深蒂固,即我們的外表能夠反映我們內(nèi)在的思想與道德。而它會(huì)隨著時(shí)間的推移不斷重生,其源頭甚至可以追溯到幾千年前。”
本文原載于2017年11月10日《大西洋月刊》網(wǎng)站,小標(biāo)題系譯者所加。盧南峰編譯。





- 報(bào)料熱線: 021-962866
- 報(bào)料郵箱: news@thepaper.cn
滬公網(wǎng)安備31010602000299號(hào)
互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:滬B2-2017116
? 2014-2025 上海東方報(bào)業(yè)有限公司