近幾個月來，全球?qū)θ斯ぶ悄苤卫砗捅O(jiān)管的興趣激增。許多人認為，需要嶄新的治理和監(jiān)管結構，以應對生成型人工智能系統(tǒng)——它們的能力讓人目瞪口呆，比如OpenAI的ChatGPT和DALL-E、谷歌的Bard、Stable Diffusion等。《歐盟人工智能法案》受到普遍關注。事實上，世界各地也涌現(xiàn)出許多其他重要舉措，包括多種人工智能治理模式及框架。

本文講的是2022年5月發(fā)布的新加坡人工智能治理測試框架和工具包——“人工智能驗證”（AI Verify），主要提煉三個關鍵點。① 對新加坡在人工智能治理方面的總體策略，以及該國政府在推出人工智能驗證之前發(fā)布的關鍵舉措進行總結歸納。② 對“人工智能驗證”的關鍵加以解釋。③ “人工智能驗證”推出已有一年，探討人工智能驗證的未來，以及新加坡的人工智能治理和監(jiān)管方法。簡言之，主要觀點如下：

——新加坡對人工智能治理和監(jiān)管采取了溫和干預的方法，《人工智能治理框架模式》為私營部門的人工智能治理制定了指南。

——“人工智能驗證”（ “AI Verify”）是一個人工智能治理測試框架和工具包，2022年5月推出。盡管處于試用階段，但它代表新加坡努力進一步發(fā)展人工智能治理和監(jiān)管的全球話語，試圖滿足對值得信賴的人工智能系統(tǒng)日益增長的需求，以及促進全球人工智能監(jiān)管框架的互聯(lián)互通能力。

——“人工智能驗證”基于國際公認的人工智能治理原則的測試框架，公司可以在測試自己的人工智能系統(tǒng)時使用這一測試工具包。“人工智能驗證”無意定義道德標準，而通過允許人工智能系統(tǒng)開發(fā)人員及其所有者發(fā)布證明對其人工智能系統(tǒng)性能的聲明，來提供可驗證性。

——要想取得成功，“人工智能驗證”可能需要更多認可和采用。這取決于成本、說服利益相關者相信其價值以及其與國際監(jiān)管框架的相關性和協(xié)同作用等因素。

新加坡人工智能治理的總體方法概述

新加坡在《國家人工智能戰(zhàn)略》中宣布，該國目標是“站在可擴展、有影響力的人工智能解決方案開發(fā)和部署的前沿”，希望鞏固本國作為“開發(fā)、測試、部署和擴展人工智能解決方案的全球中心”的地位。提高人工智能采用率的戰(zhàn)略中，所確定的五個“生態(tài)系統(tǒng)促成因素”之一，是為人工智能開發(fā)營造“進步和值得信賴的環(huán)境”——一個在創(chuàng)新和最小化社會風險之間取得平衡的環(huán)境。

為創(chuàng)造這種“進步和值得信賴的環(huán)境”，迄今為止，新加坡對人工智能監(jiān)管采取了一種溫和且自愿的方式。這是因為，該國認識到自身人工智能雄心的兩個現(xiàn)實。

首先，新加坡政府將人工智能視為發(fā)展經(jīng)濟和提高公民生活質(zhì)量的關鍵戰(zhàn)略推動者。由此，新加坡在監(jiān)管人工智能方面并未采取嚴厲措施，以免扼殺創(chuàng)新和投資。其次，考慮到其規(guī)模，新加坡意識到，隨著人工智能治理話語、框架和法規(guī)在全球范圍的發(fā)展，自身可能是價格接受者，而非價格制定者。因此，當下策略并不是刷新人工智能原理，而是“順應世界潮流而去，無意改變世界潮流。”（“Take the world where it is, rather than where it hopes the world to be.”） 

在2022年AI Verify發(fā)布之前，新加坡的人工智能監(jiān)管方法——由新加坡個人數(shù)據(jù)保護委員會（PDPC）監(jiān)督——有三個支柱：

1. 人工智能治理框架模式（框架模式）。

2.人工智能和數(shù)據(jù)的合乎道德使用咨詢委員會（咨詢委員會）。

3.人工智能治理與數(shù)據(jù)使用研究計劃（研究項目）。

以下重點介紹《框架模式》。

框架模式

《框架模式》2019年在世界經(jīng)濟論壇年會上首次推出，是一個自愿且不具約束力的框架，指導各組織大規(guī)模負責任地部署人工智能解決方案，并指出該框架與技術的開發(fā)階段無關。作為指南，《框架模式》僅為私營部門實體的人工智能部署提出切實可行的建議，而公共部門對人工智能的使用，則受內(nèi)部指導方針以及人工智能和數(shù)據(jù)治理工具包的約束。《框架模式》被稱為“活文件”，隨著技術和社會發(fā)展，其未來版本會不斷發(fā)展。其基礎在于技術、行業(yè)、規(guī)模和商業(yè)模型的不可預知。

本質(zhì)上，框架模式以兩個基本原則為指導，促進對人工智能的信任和理解。首先，在決策中使用人工智能的組織，應確保其決策過程是可解釋、透明和公平的。其次，人工智能系統(tǒng)應該以人為中心：保護人類福祉和安全應該是設計、開發(fā)和使用人工智能的首要考慮因素。

該框架將這些指導原則轉(zhuǎn)化為組織決策和技術開發(fā)過程中四個關鍵領域的可實施的操作：

（a） 內(nèi)部治理結構和措施；

（b） 確定人類參與人工智能增強決策的水平；

（c） 運營管理；

（d） 利益相關者的互動和溝通。

下表對這些關鍵領域中的若干建議考慮因素、做法和措施加以歸納。

《框架模式》附帶的其他舉措

新加坡在2020年世界經(jīng)濟論壇上發(fā)布第二版《框架模式》時，附帶著另兩份文件：《組織實施和自我評估指南》（ISAGO）和《使用案例匯編》（匯編-第1卷和第2卷）。ISAGO是一個清單，幫助組織評估其人工智能治理流程與模型框架的一致性。《綱要》提供了在各個部門、用例和司法管轄區(qū)采用《框架模式》建議的真實例子。

總的來說，《框架模式》及其配套文件，錨定并概述了新加坡人工智能監(jiān)管的實質(zhì)性思路。這些舉措使新加坡在2019年贏得聯(lián)合國信息社會世界峰會獎，其在人工智能治理方面的領先地位得到認可。

2020年1月，是全球人工智能監(jiān)管討論的轉(zhuǎn)折點。2020年1月17日，歐盟委員會透露的一份白皮書，使國際社會越發(fā)關注政府監(jiān)管人工智能技術的可能性。2020年2月，歐盟委員會正式發(fā)布《人工智能白皮書》，列出創(chuàng)建人工智能監(jiān)管框架的計劃。而后幾個月，歐盟委員會提出即將出臺的《人工智能法案》的草案。這是政府性質(zhì)的機構首次認真嘗試引入實質(zhì)性規(guī)則，以橫向規(guī)范人工智能系統(tǒng)的開發(fā)和使用。可以預期，《人工智能法案》對管轄區(qū)外亦發(fā)揮影響，歐洲以外開發(fā)人工智能系統(tǒng)的公司可能會受到新法律的約束。

這些影響了人們對新加坡人工智能監(jiān)管和治理格局未來的思考。盡管新加坡個人數(shù)據(jù)保護委員會（PDPC）保持其對人工智能監(jiān)管的自愿和寬松的態(tài)度，但它承認，人工智能未來將面臨更嚴的監(jiān)督。PDPC似乎也注意到，消費者對人工智能系統(tǒng)和開發(fā)人員可信度的需求日益提高，需要人工智能國際標準根據(jù)監(jiān)管要求，對人工智能進行基準測試和評估。此外，對人工智能監(jiān)管框架互聯(lián)互通性的要求也在提高。有鑒于此，新加坡開始進行開發(fā)，最終成果合并為“人工智能驗證”（AI Verify）的框架。

什么是“人工智能驗證”（AI Verify）

 “人工智能驗證”（AI Verify）由新加坡通信和信息部下屬的法定委員會Infocomm Media Development Authority（IMDA）和個人數(shù)據(jù)保護委員會（PDPC）共同發(fā)布，是一個人工智能治理測試框架和工具包。運用“人工智能驗證”（AI Verify），組織機構能結合技術測試和基于流程的檢查，對自身的人工智能系統(tǒng)進行自愿評估。反過來，該系統(tǒng)幫助公司向利益相關者提供客觀和可驗證的證明，以說明自身的人工智能系統(tǒng)以負責任和值得信賴的方式實施。

鑒于人工智能測試方法、標準、指標和工具不斷發(fā)展，“人工智能驗證”（AI Verify）目前處于“最低可行產(chǎn)品”（MVP）階段。這有兩個含義。首先，MVP版本有技術限制，并受限于可測試或分析的人工智能模型或數(shù)據(jù)集的類型和大小。其次，隨著人工智能測試能力的成熟，預計人工智能驗證將不斷發(fā)展。

開發(fā)“人工智能驗證”MVP版本的四個目標是：

（a）首先，IMDA希望組織能夠使用“人工智能驗證”，確定其人工智能系統(tǒng)的性能基準，并向消費者和員工等利益相關方展示這些經(jīng)過驗證的基準，從而幫助組織增強信任。

（b）其次，鑒于其開發(fā)考慮到各種人工智能監(jiān)管和治理框架，以及共同的值得信賴的人工智能原則，“人工智能驗證”旨在幫助組織找到各種全球人工智能治理框架和法規(guī)的共同點。IMDA將繼續(xù)與監(jiān)管機構和標準組織合作，將“人工智能驗證”的測試框架映射于已建立的框架中。這些努力旨在讓企業(yè)在多個市場運營或提供人工智能產(chǎn)品與服務，同時讓新加坡成為人工智能治理和監(jiān)管測試的中心。

（c）第三，隨著更多組織嘗試“人工智能驗證”并使用其測試框架，IMDA將能夠整理行業(yè)實踐、基準和指標。考慮到新加坡正參與全球人工智能治理平臺，如全球人工智能伙伴關系和ISO/IEC JTC1/SC 42，為人工智能治理的國際標準制定提供寶貴視角，這些可促進對人工智能治理標準制定的投入。

（d）第四，IMDA希望“人工智能驗證”幫助新加坡創(chuàng)建一個本地人工智能測試社區(qū)，由人工智能開發(fā)人員和系統(tǒng)所有者（尋求測試人工智能系統(tǒng)）、技術提供商（正在開發(fā)人工智能治理實施和測試解決方案）、咨詢服務提供商（專門從事測試和認證支持），以及研究人員（正在開發(fā)測試技術、基準和實踐）所組成。

澄清關于“人工智能驗證”的幾個潛在誤解也很重要。首先，“人工智能驗證”并不試圖定義道德標準。它沒有試圖去標亮人工智能系統(tǒng)的分類，相反提供了可驗證性，允許人工智能系統(tǒng)開發(fā)人員和所有者證明他們對其人工智能系統(tǒng)性能的聲明。第二，組織使用“人工智能驗證”，不能保證測試的人工智能系統(tǒng)沒有風險或偏見，或是完全“安全”、“合乎道德”。第三，“人工智能驗證”旨在防止組織無意中泄露其人工智能系統(tǒng)的敏感信息（如其底層代碼或訓練數(shù)據(jù)）。其采取了關鍵保障措施——“人工智能驗證”將由人工智能系統(tǒng)開發(fā)人員和所有者自行實施自測。這允許組織機構的數(shù)據(jù)和模型保留在本組織機構的操作環(huán)境中。

“人工智能驗證”如何工作

“人工智能驗證”由兩部分組成。其一是測試框架，它引用了11項國際公認的人工智能倫理和治理原則，分為五大支柱。其二是組織用來執(zhí)行技術測試和記錄測試框架中過程檢查的工具包。

 “人工智能驗證”的測試框架

“人工智能驗證”測試框架的五大支柱和十一項原則及其預期評估如下所列：

實際的測試框架，包括以下關鍵部分： 

（a）定義：測試框架為每個人工智能原則提供了易于理解的定義。例如，可解釋性被定義為“評估導致人工智能系統(tǒng)決策的因素，其整體行為、結果和影響的能力”。

（b）可測試標準：對每個原則，都提供了一組可測試標準。這些標準兼顧了技術和/或非技術（如流程、程序或組織結構）因素，有助于實現(xiàn)該治理原則的預期結果。

以可解釋性為例，給出兩個可檢驗的準則。開發(fā)人員可運行可解釋性方法來幫助用戶理解人工智能模型的驅(qū)動因素。開發(fā)人員還可展示對人工智能模型的開發(fā)偏好，這些模型可以解釋他們的決策，或在默認情況下可以解釋。

（c）測試過程：對每個可測試的標準，“人工智能驗證”提供了要執(zhí)行的過程或可操作的步驟，這些步驟可以是定量的（如統(tǒng)計或技術測試），也可以是定性的（如在過程檢查過程中產(chǎn)生書面證據(jù)）。

就解釋性而言，技術測試可能涉及實證分析和確定特征對模型輸出的貢獻。基于過程的測試將記錄人工智能模型的基本原理、風險評估和權衡。

（d）度量：這些是定量或定性的參數(shù)，用于衡量或為每個可測試的標準提供證據(jù)。

使用上面的可解釋性示例，用于確定特征貢獻的度量可檢查從技術工具（如SHAP和LIME）獲得的模型輸出的貢獻特征。選擇最終模型時，基于過程的度量可作為評估的證明文件，例如風險評估和權衡練習。

（e）閾值（如適用）：在可用情況下，測試框架將為選定指標提供公認的值或基準。這些價值觀或基準，可由監(jiān)管機構、行業(yè)協(xié)會或其他公認的標準制定組織定義。對“人工智能驗證”的MVP模型，考慮到人工智能技術快速發(fā)展、它們的用例以及測試人工智能系統(tǒng)的方法，沒有提供閾值。然而，隨著人工智能治理空間的成熟和對“人工智能驗證”AI Verify的使用增加，IMDA打算整理和開發(fā)特定于上下文的指標和閾值，添加到測試框架中。

“人工智能驗證”AI Verify的工具包

雖然“人工智能驗證”AI Verify的工具包目前僅適用于成功注冊AI Verify MVP計劃的組織，但IMDA將該工具包描述為組織進行技術測試的“一站式”工具。具體而言，工具包廣泛使用開源測試庫。這些工具包括用于解釋性的SHAP（Shapley Additive ExPlanations）、用于魯棒性的對抗性魯棒性工具包，以及用于公平性的AIF360和公平學習。

“人工智能驗證”的用戶可在其內(nèi)部環(huán)境安裝工具包。用戶將在用戶界面指導下，進行測試過程。例如，該工具包含有一個“引導公平樹”，供用戶識別與其用例相關的公平度量。最后，“人工智能驗證”AI Verify將生成一份總結報告，幫助系統(tǒng)開發(fā)人員和所有者解釋測試結果。對于過程檢查，報告提供了一份清單，說明是否存在測試框架中規(guī)定的文件證據(jù)。然后將測試結果打包到Docker?容器，以便部署。

結論

IMDA發(fā)布AI Verify時，生成人工智能的興趣浪潮尚未顯現(xiàn)。隨著當前的潮流，人們對人工智能系統(tǒng)的治理、可測試性和可信度的檢驗興趣顯著增長。如本文所列，“人工智能驗證”AI Verify的諸般舉措，正是做好準備對當前做出回應。

此前，新加坡早已證明其有能力為人工智能治理和監(jiān)管的全球話語和思想領導力做出貢獻。所發(fā)布的《框架模式》即為明證。“人工智能驗證”AI Verify的風險當然很高，但全球?qū)@一舉措的需求也很高。要取得成功，它可能需要得到更多認可，被更多使用。這取決于幾個因素。首先，該工具的可訪問性至關重要：希望使用“人工智能驗證”AI Verify的相關組織機構，需要能夠以低成本甚至零成本使用。其次，讓組織機構相信它的價值至關重要。這需要IMDA證明，“人工智能驗證”AI Verify在技術和程序上是合理的，它可以有效地用于更多和更新種類和尺度的人工智能模型和數(shù)據(jù)集，且不會影響專有人工智能模型或數(shù)據(jù)集的商業(yè)敏感性。第三，也許是最重要的，它必須與國際監(jiān)管框架保持互聯(lián)互通性。IMDA需要確保“人工智能驗證”AI Verify持續(xù)幫助組織機構在關鍵的新興全球人工智能監(jiān)管框架內(nèi)解決問題并互聯(lián)互通，如歐盟人工智能法案、加拿大人工智能和數(shù)據(jù)法案、美國NIST人工智能風險管理框架，以及新加坡本國的模型框架。