大數據文摘出品

來源：techcrunch

編譯：周熙

歐洲法院今天審理了一項法律訴訟，涉及歐盟資助的一個有爭議的研究項目，該項目使用人工智能進行面部 "測謊"，目的是加快移民檢查。

2019年3月，海盜黨（Pirate Party）德國成員、公民自由活動家 Patrick Breyer對監督該集團資助項目的歐盟研究執行機構 （REA）提起透明度訴訟——他之前曾因后者拒絕披露文件成功起訴委員會。

他正在尋求公布項目的倫理評估、法律受理、市場推廣和結果相關的文件。并希望制定一個原則，即公共資助的研究必須符合歐盟的基本權利——并幫助避免在這個過程中把公共資金浪費在人工智能的 "萬金油"（snake oil）上。

Breyer在今天的聽證會后發表聲明說：“總有危險的監視和控制技術被歐盟開發出來，未來甚至會資助武器研究，我希望能有一個里程碑式的裁決，讓公眾對為私人利益服務且不道德的公費研究進行監督和論證。通過我的透明度訴訟，我希望法院一勞永逸地裁定，納稅人、科學家、媒體和國會議員有權了解公費研究的信息——特別是'iBorderCtrl視頻測謊儀'這類偽科學和奧威爾（Orwellian）技術。”

法院尚未確定此案的裁決日期，但Breyer表示，法官們對該機構進行了 "一個多小時的密集且嚴格的質詢"，并透露，與涉案人工智能技術相關的文件尚未公開披露，但法官們已經審查過，其中包含了 "種族特征 "等信息，引發了大量質疑。

主審法官繼續質疑，按照Breyer的說法，通過公布更多關于有爭議的iBorderCtrl項目的信息，來證明自己沒有什么可隱瞞的，這是否符合歐盟研究機構的利益。

人工智能 “測謊儀”

有關研究之所以有爭議，是因為精確測謊儀的概念仍只存在于科幻小說里，而且有充分的理由相信目前沒有證據顯示欺騙有 "普適性的心理信號"。

然而，這個由人工智能驅動的商業研發 "實驗 "是為了建立一個視頻測謊器，測試者被要求回答一個虛擬邊檢人員向他們提出的問題，同時一個網絡攝像頭掃描他們的面部表情，該系統試圖檢測出歐盟在該項目官方摘要中所描述的 "欺騙的生物標記"，借此為測試者的面部表情的真實性打分。在該集團的地平線2020計劃下獲得了超過450萬歐元（約合540萬美元）的歐盟研究資金。

iBorderCtrl項目在2016年9月至2019年8月期間進行，資金由多個成員國（包括英國、波蘭、希臘和匈牙利）的13個私營或盈利實體分攤。

iBorderCtrl項目組表示將在去年公布公開研究報告，以書面形式回復Breyer對其缺乏透明度的質疑，但報告至今未曾與公眾見面。

早在2019年，The Intercept媒體就發表了就測試了iBorderCtrl系統的報告。視頻測謊儀誣陷其記者說謊，并給出她在16個答案中給出了4個假答案的判斷，并給她打出了48分的總分。一名評估結果的警察報告說，這觸發了系統對她的建議，她應該接受進一步的檢查。（盡管這樣的事情沒有真正發生過，因為該系統從未在邊境測試期間真正運行）。

The Intercept說，它必須提出數據訪問請求——這是歐盟法律規定的權利——才能獲得記者結果的副本。其報道援引德比大學（University of Derby）刑事調查教授Ray Bull的話說，iBorderCtrl項目 "不可信"，鑒于目前缺乏證據來證明監測人們臉上的微表情是衡量撒謊的準確方法。

此外Bull還說："他們自欺欺人，以為這樣做會有實質性的效果，他們浪費了很多錢。這項技術是基于對人類在真實和欺騙時的基本誤解"。

只要注入足夠多的數據，人工智能就能自動預測人類特征的說法令人痛心——看看最近應用機器學習從臉型中搜集 "性格特征 "來重振人機學的嘗試就知道了。所以，一個人臉掃描的人工智能 "測謊儀 "就這樣就端坐于一個漫長而不光彩的反科學 "傳統"王座之上。

在21世紀，在你還沒有考慮到歐盟資助違背歐盟憲章規定的關于基本權利的研究所固有的道德和法律盲點之前，數百萬歐元的公共資金被投入到可怕的舊想法的翻版中，這實在是令人難以置信。當你考慮到所有的錯誤決定都涉及到讓這種情況發生時，它看起來就像是絞刑般可恥。

為這種可疑的人工智能應用提供資金，似乎也忽視了所有已經完成的（好的）研究，這些研究顯示了數據驅動技術是如何風險度量偏見和歧視的。

但我們無法確定，因為關于iBorderCtrl背后的財團如何評估其實驗性應用中的道德考慮因素的信息非常有限，這是法律投訴的核心部分。

位于盧森堡的歐洲法院面臨的挑戰給委員會提出了一些非常尷尬的問題。歐盟是否應該將納稅人的現金投入到偽科學 "研究 "中？它是不是應該努力資助真正的科學？為什么它的旗艦研究項目——歐盟皇冠上的明珠——很少受到公眾監督？

同時，一個視頻測謊儀能通過歐盟的 "道德自評 "程序，說明所謂的 "道德檢查 "并不值得一看。

"是否接受（研發）申請的決定是在成員國代表作出決定后由區域環境署作出的。因此，沒有公眾監督，沒有議會或非政府組織的參與。沒有（獨立的）道德機構來篩選所有這些項目。整個系統的設置非常糟糕"，Breyer說。

"他們的論點基本上是，這種研發的目的不是為了促進科學或為公共利益做一些事情，也不是為了促進歐盟的政策，這些計劃的目的實際上是為了支持工業——開發東西來銷售。因此，它應該是一個經濟的項目，它的設計方式。我認為我們真的需要討論一下，這樣做是否正確，是否應該如此。歐盟即將對人工智能進行監管，而在這里，它實際上是在資助不道德、不合法的技術"。

沒有來自外部的道德監督

歐盟資助敵視權利的研究不僅顯得虛偽，而且——批評者認為這是在浪費公共資金，而這些資金本可以用于真正有用的研究（無論是為了安全目的，還是更廣泛的公共利益；以及促進歐盟立法者喜歡提及的 "歐洲價值觀"）。

Breyer認為，"我們需要知道，并且明白這些研究永遠不該被使用，因為它不起作用，或者是不道德，或者是非法，這實際上是在浪費錢，那些錢本該用于其他真正重要和有用的項目"。

"例如在安全方案中，你或許可以在警察防護裝備方面做一些好事。或者也許在向民眾宣傳預防犯罪方面。因此，如果這些手段使用得當，而不是使用這種希望永遠不會被使用的可疑技術，就可以做很多好事"。

接替Horizon 2020的歐盟旗艦研究和創新計劃的最新化身，在2021-2027年期間的預算約為955億歐元。而推動數字化轉型和人工智能的發展也是歐盟聲明的研究經費重點之一。所以，可用于 "實驗性 "人工智能的錢袋看起來很巨大。

但是，誰來確保錢不會浪費在算法萬金油上，而且還是危險的算法萬金油，因為研發工作明顯違背了歐盟自己的基本人權憲章？

歐盟委員會多次拒絕了要求發言人談論這些問題的請求，但它確實發送了一些記錄要點(如下)，以及關于獲取文件的一些背景資料，這是法律申訴的一個關鍵部分。

在委員會關于 "研究中的倫理 "的記錄聲明中，它首先聲稱 "在歐盟資助的研究中，倫理是最優先的"。

"在地平線2020下開展的所有研究和創新活動都必須遵守道德原則和相關的國家、歐盟和國際的法律，包括《基本權利憲章》和《歐洲人權公約》"，它還告訴我們 "所有提案都要經過專門的道德評估，以核實研究項目是否符合道德規則和標準，并在合同中規定其義務"。

它沒有詳細說明 "視頻測謊儀 "究竟如何能符合歐盟的基本權利————如尊嚴、隱私、平等和不歧視的權利。

而值得一提的是，歐洲數據保護監督員（EDPS）在去年的一份初步意見中寫道，對歐盟資助的科學研究與數據保護法之間的錯位提出了擔憂。"我們建議加強數據保護主管部門和倫理審查委員會之間的對話，以便就哪些活動有資格成為真正的研究達成共識，歐盟科學研究行為準則，歐盟研究框架方案和數據保護標準之間更緊密地結合起來，并開始就研究人員在哪些情況下可以基于公共利益獲取私營公司持有的數據進行辯論"。

具體到iBorderCtrl項目，委員會告訴我們，該項目任命了一名道德顧問，"按照最初的道德要求 "監督研究道德方面的執行情況。委員會聲稱，"顧問的工作方式是確保自主性和獨立于聯合體"，但沒有透露該項目(內部任命)道德顧問是誰。

"在項目執行期間，委員會/REA通過修訂相關的可交付成果不斷監測道德方面的問題，并在與報告期結束相關的技術審查會議期間與外部獨立專家合作，對道德方面的問題進行了認真分析"，它繼續補充說："2019年3月進行了一次令人滿意的道德檢查"。

它沒有提供關于這次自律性 "道德操守檢查 "的任何進一步細節。

"到目前為止，它的運作方式基本上是委員會成立的一些專家組與提議/招標"，Breyer在討論歐盟的研究項目是如何構建時說。"它由行業專家主導，里面沒有任何國會議員，我認為它只有一個民間社會的代表在里面，所以從一開始就有虛假的組成。然后，它被提交給研究執行機構，實際的決定是由成員國的代表作出的。

征集研究提案本身聽起來并不那么糟糕，如果你查一查的話，它很籠統，所以問題其實是他們針對它提出的具體提案。而據我所知，這些都不是由獨立專家篩選的。道德問題是通過自我評估來處理的。因此，基本上，申請者應該表明項目是否涉及高道德風險。只有在申請者表明了這一點的情況下，才會有專家，由區域評估機構挑選，進行道德評估。

"我們不知道誰被選中了，我們不知道他們的意見，這也是保密的，如果后來發現某個項目不道德，是不可能撤銷撥款的"。

虛偽的指控在這里變得更為尖銳，因為委員會正在為人工智能的應用塑造基于風險的規則。而歐盟立法者多年來一直表示，人工智能技術需要 "護欄"，以確保它們的應用符合地區價值觀和權利。

委員會執行副總裁Margrethe Vestager曾談到，需要制定規則來確保人工智能 "合乎道德地被使用"，并能 "支持人類的決策，而不是破壞人類的決策"。

然而，歐盟的機構們卻同時將公共資金投入在人工智能研究上，如果在該地區實施人工智能研究，顯然是不合法的，鑒于 "測謊 "缺乏科學依據，民間批評人士譴責這種研究顯然是不道德的。

在iBorderCtrl網站的常見問題解答中，項目背后的商業財團承認，現有的歐盟法律框架并沒有涵蓋其中一些技術的實際應用，并補充說，這意味著 "如果沒有建立法律基礎的民主政治決定，這些技術就無法實施"。

或者，換句話說，如果不修改法律，這種系統在歐洲實際用于邊境檢查是非法的。然而，歐洲納稅人的資金還是被投入了。

EDPS的發言人拒絕對Breyer的案件進行具體評論，但他確認，其關于科學研究和數據保護的初步意見仍然是相關的。

他還指出了未來的相關工作，該工作涉及委員會最近推動并鼓勵為研究目的而共享泛歐盟健康數據的工作——EDPS建議 "從一開始 "就確定數據保護保障措施，并建議在進行研究之前建立 "深思熟慮 "的法律基礎。

"EDPS建議特別關注（健康數據共享）框架內數據的道德使用，為此，他建議考慮現有的道德委員會及其在國家立法背景下的作用"，歐盟首席數據監督員寫道，他堅信健康數據共享計劃的成功將取決于建立一個強有力的數據治理機制，為立足于歐盟價值觀的合法、負責任、道德管理提供充分保證，包括尊重基本權利"。

數據的合法和道德使用必須成為研究工作的DNA————而不是事后表單上的一個選項。

無法驗證的技術

除了對獲得歐盟資助的研究項目缺乏獨立的倫理監督外，對于所謂具有商業頭腦的研究來說，目前令人擔憂的是，外界無法獨立驗證（或者說，證偽）相關技術。

就iBorderCtrl技術而言，沒有公布關于項目成果的任何有意義的數據，根據信息自由法要求提供數據的請求也以商業利益為由被拒絕。

自2019年項目結束以來，Breyer一直試圖獲得有關項目成果的信息，但沒有成功。《衛報》早在12月就詳細報道了他的斗爭。

他說，裹挾在歐盟研究的法律框架下，只有非常有限的要求公布項目成果信息——而且是在事后很久才公布。因此，他希望法院能同意 "商業利益 "不能被用來過分寬泛地拒絕披露公共利益信息。

他告訴TechCrunch，"他們基本上認為沒有義務審查一個項目是否真的有效，所以他們有權資助那些不起作用的研究"。"他們還認為，如果任何信息的公布都會損害銷售技術的能力，基本上只要拒絕訪問就可以了——這是對商業敏感信息的一種極其廣泛的解釋。

"我會接受的是排除真正包含商業機密的信息，比如軟件程序的源代碼或者內部計算之類的。但這肯定不應該涵蓋，例如，如果一個項目被貼上了不道德的標簽。這不是商業秘密，但顯然會損害他們銷售的能力——但顯然這種解釋太寬泛了"。

"我希望這次法律訴訟能成為一個先例，澄清這種不道德的（如果真的使用或部署了這種技術也是非法的）技術的信息，公眾的知情權優先于出售技術的商業利益"，他補充道。"他們是說我們不會發布信息，因為這樣做會減少出售技術的機會。因此，當我看到這一點時，我說，好吧，這絕對值得上法庭，因為他們將對所有請求一視同仁"。

民間社會組織在試圖獲取iBorderCtrl項目的詳細信息時也遭到了挫折。例如，The Intercept在2019年報道稱，總部位于米蘭的Hermes透明和數字人權中心的研究人員利用信息自由法獲得了有關iBorderCtrl系統的內部文件，但他們拿回的數百頁文件被嚴重刪改——許多文件被完全涂黑。

"我從那些試圖了解其他可疑研究項目的記者那里聽說，他們大規模地隱瞞了信息，但這是徒勞的。甚至像道德報告或法律評估這樣的東西——那都是不包含任何商業機密的東西，就像這樣"，Breyer繼續說道。"它不包含任何源代碼，也不包含任何敏感信息——他們甚至還沒有公布這些內容哪怕是一小部分。

"我發現，一個歐盟機構[REA]居然會說，我們不關心這方面的利益，因為一旦它可能會減少銷售，那么我們就會扣留信息，這讓人感到憤怒。我不認為這是可以接受的，無論是其關乎納稅人的利益方面，了解他們的錢是用來做什么，但也出于科學的利益，能夠測試/驗證這些所謂的 "欺騙檢測 "的實驗 - 這是非常有爭議的，如果它真的有效。而為了驗證或證偽，科學家們當然需要獲得關于這些試驗的具體內容。

"另外從民主的角度來說，如果有一天立法者想要決定引入這樣的系統，甚至決定這些研究項目的框架，我們基本上需要知道細節——比如假陽性的數量是多少？它的實際效果如何？它是否會因為對某些人群效果不佳而產生歧視作用，就像面部識別技術那樣。這都是我們真正迫切需要知道的東西"。

關于獲取與歐盟資助的研究有關的文件，委員會請我們參考第1049/2001號條例，它說該條例 "規定了一般原則和限制"，但它補充說，"對每個案例都進行了認真和單獨的分析"。

然而，委員會對地平線計劃條例的解釋似乎完全排除了信息自由的適用——至少在iBorderCtrl項目中是這樣。

根據Breyer的說法，他們將公開披露的內容限制在研究結果的摘要上——可以在項目完成后大約三到四年后發表。

"你會在一些科學雜志上看到一篇五六頁的關于這個項目的文章，當然你不能用它來驗證或證偽這個技術"，他說。"你無法看到他們到底在做什么——他們在和誰交談。所以這種總結在科學上、對公眾和民主上都是非常無用的，而且要花很多時間。所以我希望將來我們能得到更多的洞察力，希望能進行公開辯論"。

歐盟研究計劃的法律框架是二級立法。所以布雷耶的論點是，一個關于保護 "商業利益 "的空白條款不應該能夠凌駕于歐盟基本的透明度權利之上。但當然這將由法院來決定。

"我認為我有一些很好的機會，特別是因為透明度和獲取信息實際上是歐盟的一項基本權利——它在歐盟基本權利憲章中。而這個地平線立法只是二級立法——他們不能偏離主要法律。而且它們需要按照它來解釋"，他補充道。"所以我認為，我希望法院會說這是適用的，他們會在信息自由的背景下做一些平衡，信息自由也保護商業信息，但受制于普遍的公共利益。所以我認為他們會找到一個很好的折衷方案，希望能有更好的洞察力和更大的透明度。

"也許他們會把文件的某些部分涂黑，刪改一些，但我當然希望原則上我們能獲得這些資料。從而也確保將來委員會和REA必須交出大部分關于這項研究的要求的東西。因為那里有很多可疑的項目"。

Breyer認為，一個更好的研究項目監督體系可以從讓決定資助申請的委員會不至于主要由工業界和歐盟成員國的代表組成（當然，他們總是希望歐盟的現金來到他們的地區）——還應當包括議會代表、更多的民間社會代表和科學家。

"它應該有獨立的參與者，而且這些參與者應該是大多數"，他說。"這將是有意義的，引導研究活動向著公益、遵守我們的價值觀、有用的研究方向發展——因為我們需要知道和了解的是那些永遠不會被使用的研究，因為它不起作用，或者它不道德，或者它是非法的，它浪費的資金，用于其他真正重要和有用的項目"。

他還指出，歐盟正在制定一項新的研究計劃，該計劃的重點是國防——在同樣的結構下，缺乏對資金決定或信息披露的適當公眾監督。他指出："他們也想為國防做這件事，所以這甚至是涉及致命性的技術。"。

到目前為止，圍繞iBorderCtrl的披露只有其系統的技術規格的一些部分和一些通信報告，按照Breyer的說法，他指出，這兩者都被 "大量刪改"。

"比如說他們沒有說把這個系統介紹給哪些邊境機構，也沒有說和哪些政客談過。其實有趣的是，這筆資金的一部分也是在向歐盟的邊境當局和政治家們介紹這項技術。這是非常有趣的，因為委員會一直在說，你看這只是研究，這并不重要。但實際上他們已經在利用這個項目來推廣這項技術和銷售。即使它從未在歐盟邊境使用過，資助開發也意味著它可以被其他政府使用——它可以賣給中國和沙特阿拉伯等。

"還有欺騙檢測技術——營銷它的公司，一家位于曼徹斯特的公司，名為Silent Talker Ltd——也在向保險公司提供它，或者在工作面試時使用，或者也許如果你在銀行申請貸款。因此，這種認為人工智能系統將能夠檢測謊言的想法有可能被非常廣泛地用于私營部門，而且由于我說它根本不起作用，它基本上是一個彩票很多人有可能從這種可疑的技術中獲得不利因素"。

他補充說："沒有人阻止歐盟資助這種'巫毒'技術，這是相當令人憤怒的"。

委員會告訴我們，"智能便攜式邊境管制系統"(又名iBorderCtrl) "探索了提高陸地邊境口岸效率、便利性和安全性的新思路"，與所有安全研究項目一樣，它 "旨在測試應對安全挑戰的新思路和新技術"。

"不期望iBorderCtrl能提供現成的技術或產品。并非所有研究項目都會導致開發出具有實際應用的技術。一旦研究項目結束，就由會員國決定是否要進一步研究和/或開發項目所研究的解決方案"。

它還指出，任何未來技術的具體應用 "都必須尊重歐盟和國家的法律和保障措施，包括關于基本權利和歐盟保護個人數據的規則"。

不過，Breyer也對委員會試圖通過聲稱'這只是研發'或它沒有決定使用任何特定技術來轉移公眾注意力的做法叫好。他認為，"當然從事實上看，這給立法者造成了壓力，如果事實證明它有用或行之有效，就會同意已經研發的東西"。"而且也即使歐盟本身不使用它，它也會被賣到其他地方——所以我認為對這項研究缺乏審查和道德評估真的是丑聞。尤其是他們已經多次開發和研究監控技術——包括對公共空間的大規模監控"。

"他們在互聯網上有大量收集數據和處理互聯網數據的項目。安全項目是非常有問題的，因為他們對干涉基本權利——隱私權——進行研究"，他接著說。"項目中確實沒有任何限制或排除大規模監控等不道德的方法。而且不僅沒有任何物質上的限制，也沒有任何制度上的設置，能夠從一開始就將這類項目排除在外。然后就算是項目設計好了，啟動了，他們甚至會拒絕公開這些項目的權限。這實在是太離譜了，正如我所說，我希望法院能夠進行一些適當的平衡，并提供更多的見解，然后我們基本上可以引發一場關于這些研究計劃設計的公開辯論"。

他再次指出，委員會計劃在同樣以工業為中心的決策結構下設立國防研發基金——"同樣存在道德評估機制的缺陷"——他指出，雖然歐盟的研究能夠為自主武器提供資金有一定的限制，但其他領域也可以為納稅人的現金進行競標——比如大規模殺傷性武器和核武器。

他補充說："所以，這將是一個巨大的問題，并且會有同樣的透明度問題，當然更多的是關于一般的透明度，委員會告訴我們，它 "始終鼓勵項目盡可能多地公布其結果"。而具體到iBorderCtrl，它說，關于該項目的更多信息可在CORDIS網站和專門的項目網站上查閱。"

如果你花時間瀏覽iBorderCtrl網站的 "出版物 "頁面，你會發現一些 "可交付成果"——包括 "道德顧問"；"道德顧問的第一份報告"；"以貌取人的道德、個人被污名化的風險和緩解計劃"；以及 "歐盟范圍的法律和道德審查報告"——所有這些都被列為 "機密"。

相關報道：

https://techcrunch.com/2021/02/05/orwellian-ai-lie-detector-project-challenged-in-eu-court/

志愿者介紹

原標題：《"奧威爾 "人工智能測謊項目在歐盟法院受到挑戰》

閱讀原文