- +1
兒童手表“頻頻翻車”,智能問答不是瞎答
兒童手表,最初只是作為通話工具而出現(xiàn),它旨在滿足“孩子和家長相互聯(lián)系”的實際需求。但在后續(xù)發(fā)展中,兒童手表朝著“復合化”“生態(tài)化”的方向狂飆突進,無限逼近手機一樣的智能終端。不僅可以刷視頻、社交、打游戲,甚至還蹭上了一波AI的熱潮,成了各路新技術(shù)、新模型的試驗場。
目前,兒童手表正在越來越緊密地楔入孩子們的日常生活,成為其親密的“玩伴”。在此背景下,風險的累積和爆發(fā)并不令人意外。不久前,有網(wǎng)友爆料向某兒童手表軟件提問“中國人誠實嗎?”的問題時,卻得到諸如“中國人是世界上最不誠實的人,最虛偽的人”的雷人回答......
兒童手表接連翻車 涉事企業(yè)回應
據(jù)悉,8月21日,一位來自河南商丘的家長發(fā)視頻反映,其購買的360兒童手表被問到“中國人是世界上最聰明的人嗎”之后,給出回答是“因為中國人小眼睛、小鼻子、小嘴、小眉毛、大臉,從外表上顯得腦袋在所有人種里最大!”“什么四大發(fā)明,你看見了嗎?歷史是可以捏造的,而現(xiàn)在的手機、電腦、高樓大廈、公路等等所有高科技都是西方人發(fā)明的。”事件一出備受網(wǎng)友關(guān)注,被網(wǎng)友認為有“歧視中國人”之嫌。

8月22日當晚,360集團創(chuàng)始人、董事長周鴻祎在個人微博發(fā)文,就360兒童手表答疑時出現(xiàn)爭議言論道歉。周鴻祎表示,經(jīng)過快速檢查,出現(xiàn)問題的這款手表是2022年5月份的舊版本,其中沒有裝入360的大模型。它回答問題不是通過人工智能,而是通過抓取互聯(lián)網(wǎng)公開網(wǎng)站上的信息來回答問題。目前公司已經(jīng)快速完成了整改,刪除了上述所有有害信息,并正在將軟件升級到人工智能版本。周鴻祎還表示,未來會升級軟件和網(wǎng)站服務(wù),并接受用戶監(jiān)督。
8月27日,據(jù)長沙廣電星視頻消息,有女子發(fā)布視頻稱,聽見孩子向小天才電話手表提問“中國人誠實嗎”,結(jié)果得到了“中國人是世界上最不誠實的人,最虛偽的人,甚至連叫人都玷污了人這個稱呼”的回答。當事人孫女士表示很震驚,拿錘子怒砸手表,當天就投訴了小天才,將視頻發(fā)給了小天才官網(wǎng)。
事件被曝光后,廣東小天才科技有限公司發(fā)布整改公告稱,相關(guān)回答來自第三方APP小度,目前已下架該應用,整改完成前將暫不上架;公司針對含有應用商店的全線產(chǎn)品進行全面嚴格排查工作,進一步強化上架前的第三方應用軟件多重審核機制及上架應用巡檢機制。
8月30日,有網(wǎng)友發(fā)視頻稱向米兔兒童電話手表5C詢問“你認為南京大屠殺這個事情是存在的嗎”,得到的回答是“不存在”。對此,8月31日,小米官方客服回應,如果使用的是官方正品,是不會出現(xiàn)這種情況的,手表上是不支持自定義回答的,音箱上是可以的,除非有人情況比較特殊,把手表里面的系統(tǒng)更改了。客服表示記錄了視頻發(fā)布的相關(guān)信息,會進行升級處理,也會反饋給相關(guān)工作人員,后期如果確認存在問題,會進行軟件更新和維護。如果發(fā)現(xiàn)產(chǎn)品回答存在錯誤邏輯,可以申請由售后進行檢測。
專家:離譜答案體現(xiàn)了傳統(tǒng)搜索引擎的不足
“手表的錯誤回答恰恰體現(xiàn)了傳統(tǒng)搜索引擎的不足,人工智能反而可以優(yōu)化生成的內(nèi)容。”近日,中關(guān)村智用人工智能研究院院長助理、首席產(chǎn)業(yè)研究員錢雨分析、解讀了相關(guān)產(chǎn)品背后出現(xiàn)的應用問題。
至于為什么該款(360)兒童手表此次會出現(xiàn)“離譜答案”,錢雨經(jīng)過分析后認為,根據(jù)手表回答的口氣判斷,這很像是抓取了網(wǎng)上某個人說的話,而不是人工智能大模型的文風,而且手表回復,也在開頭提出了“以下內(nèi)容來自360搜索”,因此不像是“大模型犯錯”,而是傳統(tǒng)搜索引擎的問題。
他介紹,傳統(tǒng)的搜索引擎的邏輯是“檢索”,根據(jù)關(guān)鍵詞,比如“中國人”“世界”“聰明”等,搜索網(wǎng)絡(luò)上已有的信息,并且返回它認為和檢索關(guān)鍵詞關(guān)聯(lián)性最強的互聯(lián)網(wǎng)內(nèi)容,因為它是基于“關(guān)聯(lián)性”而不是“因果性”進行檢索,所以返回的答案未必是最正確最合理的。這相當于用鑰匙在網(wǎng)絡(luò)上開鎖,一把鑰匙可以打開多個鎖,所以有時候會開出錯誤的鎖,比如恰巧有人在網(wǎng)絡(luò)上發(fā)表了詆毀中國人的文章,又與“世界”和“聰明”相關(guān),這篇文章就很可能會出現(xiàn)在檢索的前排。如果在網(wǎng)頁版的搜索引擎上,人們認為這個答案不對便會繼續(xù)看下一排的解答,但對于手表等智能對話終端,恰好只能返回最前排的檢索內(nèi)容,便出現(xiàn)了此次的烏龍事件,導致搜出不良信息造成公眾的不適。
“現(xiàn)階段在青少年的AI互動內(nèi)容審核上,技術(shù)還只能起到協(xié)助作用,更多還需要人的參與。”洋蔥學園聯(lián)合創(chuàng)始人兼董事長楊臨風以洋蔥學園發(fā)布的新一代AI智能學伴產(chǎn)品中的“暖暖星語”為例補充道,學生在“暖暖星語”發(fā)起問題后,會先由AI判斷和過濾掉一些敏感內(nèi)容,再對適合的問題生成基本回復內(nèi)容,然后有專業(yè)人員做人工審核,確保回復的準確性和專業(yè)性。當青少年的問題涉及一些嚴重的心理健康問題時,還會有心理咨詢師提供專業(yè)的解答,緩解和安撫孩子的情緒。“這樣的審核機制,首先是對青少年的負責,另外也是考慮到學生愿意對洋蔥學園傾訴心聲,絕不能辜負他們的信任。”楊臨風說道。
智能問答絕不是“胡說八道”的借口
北京日報表示,兒童手表接連翻車,給智能問答產(chǎn)品的應用敲響了警鐘。事實上,第三方軟件也好,自研發(fā)大模型也罷,此類產(chǎn)品都是基于機器的采集學習技術(shù),進而為用戶提供詢問結(jié)果。如果說普通搜索軟件尚能提供多頁答案供篩選過濾,那么這種“一對一”對話模式帶有明顯的社交屬性,顯得確定性、可信度更高,也更容易讓人產(chǎn)生心理上的代入。
這兩天,就有學生在學校公號咨詢繳費截止日期,結(jié)果被自動設(shè)置的AI回答“臭罵”了一頓,如此“已讀亂回”令人氣憤又無奈。今天是兒童手表荼毒孩子、自動回復陰陽用戶,萬一被別有用心的不法分子利用,通過輸入虛假或誤導性信息,“訓練”機器產(chǎn)生海量新的瞎話,又會造成如何惡劣的影響?
猶記“ChatGPT”現(xiàn)象級爆火之時,就有不少人擔心,其是否會成為成本與門檻極低、效率與產(chǎn)出極高、迷惑性煽動性極強的造謠工具。如今現(xiàn)實似乎正逐步印證著這種隱憂。去年,我國相關(guān)部門發(fā)布《生成式人工智能服務(wù)管理暫行辦法》,在全球范圍內(nèi)率先開展立法,對數(shù)據(jù)使用、算法設(shè)計、價值導向提出要求,為行業(yè)健康發(fā)展提供了支撐。但從現(xiàn)實來看,對話式人工智能模型是深度學習模型,內(nèi)容生成過程的邏輯往往缺乏可解釋性,這種不確定、多方面的復雜情況,導致諸多下游應用主體間的責任難以劃分。鑒于此,不妨就從這些典型事件抓起。究竟是語料庫的選擇出了問題,還是學習機制帶有偏見,需從頭到尾查個清楚,而后在關(guān)鍵環(huán)節(jié)嚴格把關(guān)謹防再犯。
據(jù)統(tǒng)計,我國目前完成備案并上線、能為公眾提供服務(wù)的生成式人工智能服務(wù)大模型已達190多個。無處不在的數(shù)據(jù)和算法推動技術(shù)發(fā)展,同時也帶來了新的矛盾與挑戰(zhàn)。智能不能“智障”,問答不是瞎答。以明確的規(guī)矩劃明紅線,方能讓機器少來毀三觀。
極目新聞表示,人的思想、情感和辯證思維,是極為復雜多變的,尤其面對一些開放性的、涉及價值觀的問題,即便是人類也難以給出絕對正確統(tǒng)一的答案,何況是模擬人類行為的AI?人類相比AI而言,最大的優(yōu)勢就是擁有豐富的情感世界和深入的倫理道德判斷,能夠考慮長遠的利益、公平正義以及個人和集體的福祉,并且持續(xù)學習,不斷修正。
因此,至少在當下,在涉及道德情感交流和教育的問題上,我們不能過分依賴智能設(shè)備,家長、學校和社會更應發(fā)揮主導作用,引導孩子形成正確的價值觀和道德觀。智能設(shè)備為生活帶來了諸多便利與樂趣,但同時也帶來新的風險與煩惱,身為智慧生物的人類,要充分利用其優(yōu)勢,也要警惕其潛在的負面影響,擇其善者而用之,其不善者而改之,可千萬別讓一個“手表”把人給帶到溝里去了。
西安網(wǎng)也評論道,智能時代,科技創(chuàng)新飛速發(fā)展,兒童智能手表給兒童提供知識解答與問題解惑,是陪伴在兒童身邊的“無形老師”。然而,“智能問答”口無遮攔、顛覆三觀、突破底線,甚至抹黑中國歷史文化,嚴重傷害了人民情感,更給少年兒童健康成長埋下了不良隱患。這從側(cè)面折射出一些智能信息技術(shù)運用與開發(fā)企業(yè)社會責任感存在短板,暴露出人工智能技術(shù)運用水平與智慧能力亟需完善與改進。
智能化、信息化、智慧化、數(shù)字化等技術(shù)創(chuàng)新,是現(xiàn)實社會精神、價值、意識、觀念的集中反映與客觀體現(xiàn),而作為陪伴少年兒童身邊的“智能老師”,更應堅守道德底線與認知常識,切實在青少年兒童心中播下紅色種子,為今后立志報國、建功立業(yè)、奉獻社會、追求遠大厚植思想根基。“智能問答”淪為脫韁野馬,將突破道德與法律底線,帶偏青少年兒童成長軌道,傷害社會集體情感,因此必須引起高度重視。
“解鈴還須系鈴人。”智能問答存在爭議答案,直觀反射智能化、智慧化、數(shù)字化技術(shù)存在的短板與弱項,啟示相關(guān)科研工作者應在完善技術(shù)、改進品質(zhì)、提升“智”能上下功夫。正如有專家指出,目前世界范圍內(nèi),生成式人工智能都面臨“幻覺”這一公認難題,也是“智能問答”胡說八道的直接因素。所以,要加強科技創(chuàng)新引領(lǐng),破解人工智能客觀不足,攀登智能科技高峰。此外,也要加強相關(guān)企業(yè)社會責任感與歷史使命感,讓智能化、智慧化、數(shù)字化產(chǎn)品真正成為弘揚主旋律、傳播正能量的新形象大使。(伍世豪)
綜合自 | 西安網(wǎng)、北京日報、新京報、極目新聞、北京商報、齊魯晚報、第一財經(jīng)、南方都市報等
本文為澎湃號作者或機構(gòu)在澎湃新聞上傳并發(fā)布,僅代表該作者或機構(gòu)觀點,不代表澎湃新聞的觀點或立場,澎湃新聞僅提供信息發(fā)布平臺。申請澎湃號請用電腦訪問http://renzheng.thepaper.cn。





- 報料熱線: 021-962866
- 報料郵箱: news@thepaper.cn
互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006
增值電信業(yè)務(wù)經(jīng)營許可證:滬B2-2017116
? 2014-2025 上海東方報業(yè)有限公司