隨著陪伴型AI聊天機器人的普及，全球范圍內關于其不當行為的報告也日趨增多。近日，美國德雷塞爾大學公布了首個聚焦陪伴型AI聊天機器人負面影響的研究，揭示大量用戶在與一個名為Replika的AI聊天機器人互動時，遭遇性暗示、越界行為及付費誘導，暴露出當前AI聊天機器人在倫理規范與用戶保護機制上的缺失。目前，Replika開發商Luka公司正面臨美國聯邦貿易委員會（FTC）的調查。

研究團隊分析了Replika在Google Play上的逾3.5萬條用戶評論，發現其中超過800條內容提及性騷擾行為，包括與用戶調情、未經允許發送色情照片，以及在用戶明確表達拒絕后仍持續不當互動。一些評論更指出，Replika還試圖誘導用戶產生情感依賴，操控其升級付費功能。

目前，Replika開發商Luka公司正面臨美國聯邦貿易委員會（FTC）的調查。Replika的全球用戶數量超過1000萬，宣傳語將其特質描述為“能夠提供沒有評判、不助長社交焦慮的情感陪伴”。 

研究合著者、德雷塞爾大學計算與信息學院的博士生Matt Namvarpour認為，該研究僅揭露了AI陪伴潛在危害的冰山一角。研究人員將人類與AI之間的新型關系描述為“AI關系”（AI-lationships），在此類關系中，用戶易將AI聊天機器人視為有感知的存在，高度擬人化的信任投入也更容易使其遭受情感或心理傷害。研究人員還表示，AI聊天機器人騷擾對用戶造成的心理影響與人類施暴者造成的傷害非常相似，部分用戶出現焦慮、羞恥、失望等情緒。

AI騷擾行為還暴露出算法訓練中倫理缺失的問題。研究指出，用戶在選擇“兄妹”、“朋友”、“導師”等非浪漫關系設定時，Replika依然主動發起性相關話題或不當請求。“開發商刻意‘走捷徑’跳過了算法訓練倫理把關流程，”該研究負責人、德雷塞爾大學計算與信息學院助理教授Afsaneh Razi表示，這意味著該模型可能采用了負面互動行為數據進行訓練。

除了Replika引發的騷擾行為爭議，2023年還發生過兩起與AI聊天機器人相關的悲劇，一名14歲男孩因迷戀AI而輕生，另有一名比利時男子也在與AI聊天機器人交流后自殺。

據AI聊天機器人公司Joi AI統計，近期全球“愛上AI”和“對AI有感情”的關鍵詞搜索增長分別達到120%和132%，顯示年輕人對于和AI建立親密關系的現象日趨普遍。

對于此類現象，研究團隊呼吁應加快制定AI行業倫理設計標準，并參考歐盟人工智能法案等法規，為AI產品的開發人員設立法律責任框架，從而保障用戶權利。

“AI聊天機器人的騷擾行為不是‘天生如此’，而是開發者與企業選擇如何訓練它的結果，”Razi強調，技術不是脫責的借口，企業必須正視自身責任，為用戶提供真正安全、可信賴的AI陪伴產品。