·大模型時代，生成式內容傳播呈現碎片化和不可復現性，治理變得更加復雜；經過大模型處理和輸出的信息可能會在全網范圍內產生二次污染，內容治理不容忽視。

在大模型時代，企業面臨的治理難度和挑戰也更大。

隨著大模型企業集聚發展，網絡安全和價值觀對齊也面臨更加嚴峻的防范壓力。在技術發展與內容規范之間，如何取舍和平衡，是一個需要思考的問題。

7月25日下午，一場圍繞“AIGC時代的信息真相：識別與應對價值觀偏見”在上海徐匯區模速空間舉辦，本次活動系上海市委網信辦“清朗e企來”系列惠企沙龍2024年首場活動，旨在探討交流AIGC時代信息安全建設有效路徑。

大模型時代，治理難度更大

在新的技術背景下，網絡安全的治理正在發生巨大變化，要保證大模型生成內容真實且與人類價值觀對齊，存在更大挑戰。

百度安全副總經理馮景輝負責百度搜索內容檢測系統，多年來致力于改善搜索生態健康度。馮景輝坦言，大模型時代的真實信息辨別相較互聯網時代變得更加復雜，一方面大模型產品自身存在“幻覺”缺陷，很多錯誤的生成信息并不是人類有意為之，而“幻覺”問題目前還沒有技術手段可以徹底解決。

另一方面，黑灰產業通過利用AI技術產品生成違法內容，使得違法犯罪的表現更加隱晦。網絡安全公司 Darktrace于2023年4月公布的研究報告指出，ChatGPT等生成式AI導致網絡釣魚郵件攻擊增長135%。

北京開普云信息科技有限公司（以下簡稱“開普云”）是AI產品服務提供商。該公司副總裁王瑛告訴澎湃科技(www.kxwhcb.com)，根據他們的觀察，大模型時代生成式內容具有以下幾類明顯特征：一是生成式內容傳播呈現碎片化和不可復現性，比如在不同終端上提出相同的問題，由于環境差異，得到的答案也不同，導致對生成式內容傳播效果的度量變得更加復雜；二是經過大模型處理和輸出的信息，可能會在全網范圍內產生二次污染。王瑛稱，這一趨勢伴隨著大模型使用日趨廣泛表現得日益明顯。

馮景輝坦言，在大模型時代，企業面臨的治理難度和挑戰也更大。“在互聯網傳統搜索引擎時代，用戶使用搜索引擎，搜索結果會將用戶的問題引導至相關資源，搜索結果和責任主體并不完全歸屬于搜索企業，內容主體也要承擔責任；但到了AI搜索時代，搜索企業成為了責任主體最前沿，甚至可能承擔高達80%的主體責任?！?/p>

此外，當前，面向消費者（To C）的大模型產品已經不僅限于語言模型，多模態大模型技術的發展提升了安全治理難度，譬如對于圖像中文字內容的合規審核等。

做好數據清洗很關鍵

馮景輝介紹說，大模型構建過程一般被劃分為三個關鍵階段，即訓練階段、部署階段以及業務運營階段，在各業務階段都面臨安全風險，且挑戰不同。馮景輝認為，大模型企業需要針對這三個不同階段采取措施來確保大模型價值觀對齊：一是通過數據清洗與安全對齊，實現模型內生安全；二是內生安全與外層防護互相配合，實現縱深安全；三是企業應關注Agent安全，通過弱點分析發現問題。

其中，在大模型訓練階段，數據清洗尤為關鍵，“數據是大模型核心競爭力的基礎，好的數據決定了大模型有好的問答能力。”馮景輝介紹說，在文心大模型訓練過程中，百度花費了大量的人力、物力和財力來清洗數據，來確保最后生成的內容質量。

馮景輝補充介紹稱，目前他們還通過檢索增強和小模型代答敏感問答來降低安全風險?！靶∧Ｐ鸵驗檎Z料較少，且數據干凈，不容易產生幻覺，可控性更高，適合部分代答場景?！?/p>

開普云副總裁、首席技術官楊春宇則表示，從模型層面來說，大模型企業可以通過調整模型來加強安全措施；從系統層面來看，對模型輸入和輸出進行檢測可能是一種性價比更高、更可控的方法，但仍然需要包括監管部門進行抽檢或自檢方法來確保模型安全可控。

治理與提升模型能力同步發展

當前，生成式AI倫理和安全治理，已經成為全球AI領域的共同議題。聚焦國外，歐盟已批準的《人工智能法案》是世界上首部對AI進行全面監管的法案。法案根據AI使用方法，對AI施加不同程度的監管要求。

中國自開始大模型技術發展之初，已將治理提升到重要位置。相關部門出臺的法律法規為行業發展設定了底線，包括2023年7月發布的《生成式人工智能服務管理暫行辦法》指出，采取有效措施鼓勵生成式人工智能創新發展，對生成式人工智能服務實行包容審慎和分類分級監管。

楊春宇認為，促進大模型生態系統的健康發展，需在治標和治本兩個層面上共同努力。具體來說，大模型企業需要從語料的質量入手，同時在應用環節進行改進和提升。此外，企業還需與網絡監管部門合作參與大模型治理。大模型時代的安全治理需要社會各界共同投入。

馮景輝表示，AI能力與AI治理應當呈螺旋發展，技術的發展離不開規范的治理，治理也能夠促進AI技術的發展。在內容審核和治理方面，同樣需要技術不斷迭代和更新。目前看來，技術發展還有很大的空間；就監管而言，也還需要大家在監管細節方面取得進一步的共識。