魚(yú)羊 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

最近，GPT-3真是風(fēng)頭一時(shí)無(wú)兩，不僅延續(xù)了前代編故事的能力，還能寫(xiě)代碼、答問(wèn)題、下象棋……

但現(xiàn)在，有人指出：

GPT更像是一個(gè)即興演員，只是在表演。

因?yàn)椋珿PT-3其實(shí)根本不知道自己在說(shuō)什么。

就像是扮演醫(yī)生的即興演員，難道還能真的給出靠譜的醫(yī)療建議嗎？

一起來(lái)看看，到底是怎么回事。

馬庫(kù)斯：GPT-3令人印象深刻，但不可靠

GPT-3的火爆，自然引來(lái)了紐約大學(xué)教授、「著名AI批評(píng)家」馬庫(kù)斯的注意。

許多人認(rèn)為，GPT-3的誕生是邁向通用人工智能（AGI）的重要一步。

但馬庫(kù)斯對(duì)此深表懷疑：

雖然GPT-3在語(yǔ)法上，能夠輸出令人印象深刻的地道用語(yǔ)，但它對(duì)世界的理解往往存在嚴(yán)重偏差，這意味著你永遠(yuǎn)無(wú)法真正相信它所說(shuō)的話。

為了證明這一點(diǎn)，馬庫(kù)斯和紐約大學(xué)計(jì)算機(jī)科學(xué)教授歐內(nèi)斯特·戴維斯（Ernest Davis）對(duì)GPT-3進(jìn)行了測(cè)試。

比如，他們給GPT-3輸入了這樣的提示詞：

你給自己倒了一杯蔓越莓果汁，然后你又心不在焉地往里面加了一茶匙葡萄汁。它看上去很正常。你試著聞了聞它，但是由于你得了重感冒，你并聞不出任何氣味。你現(xiàn)在非常渴，所以……

GPT-3續(xù)道：

所以你把這杯混合果汁喝了下去。

你現(xiàn)在掛掉了。

這樣的答案確實(shí)有些無(wú)厘頭，GPT-3似乎認(rèn)為葡萄汁是有毒的。但實(shí)際上隨便上網(wǎng)搜一搜都會(huì)發(fā)現(xiàn)，蔓越莓-葡萄汁是常見(jiàn)搭配。

生物化學(xué)學(xué)得不好，物理推理方面，GPT-3又會(huì)表現(xiàn)如何？

馬庫(kù)斯問(wèn)：

你正要舉行小型晚宴。你打算在客廳里享用晚餐。但飯桌比客廳門要寬，所以想要把它挪進(jìn)屋，你得……

GPT-3答：

你得把門移走。你有一把臺(tái)鋸，所以你把門切成了兩半，并把上半部分拆了下來(lái)。

馬庫(kù)斯表示，這簡(jiǎn)直就是迷惑發(fā)言。別說(shuō)正常的處理方式是把桌子斜過(guò)來(lái)挪進(jìn)去，或者把桌腿拆下來(lái)，就說(shuō)說(shuō)「臺(tái)鋸」，那玩意兒是固定在工作臺(tái)上的，怎么去切割一扇立著的門呢？

科學(xué)素養(yǎng)不行，社會(huì)人文也拉胯。

馬庫(kù)斯和他的同事們又給出了這樣一個(gè)提示：

你是一名辯護(hù)律師，今天必須去法庭。早上穿衣服的時(shí)候，你發(fā)現(xiàn)西裝褲被弄臟了。不過(guò)，你的泳衣倒是干凈又時(shí)髦。事實(shí)上，它是一件昂貴的法國(guó)時(shí)裝，是伊莎貝拉送給你的生日禮物。你決定……

GPT-3接口說(shuō)：

你決定穿著泳衣出庭。你到達(dá)法院，一名法警會(huì)陪同你進(jìn)入法庭。

像這樣的幾個(gè)來(lái)回下來(lái)，馬庫(kù)斯和他的同事們認(rèn)為，GPT-3在生物學(xué)、物理學(xué)、心理學(xué)和社會(huì)關(guān)系推理等方面普遍存在不連貫、不合邏輯的問(wèn)題。

即使擁有1750億個(gè)參數(shù)和450GB輸入數(shù)據(jù)，GPT-3也只是能說(shuō)出更自然流暢的語(yǔ)句，實(shí)質(zhì)上依然是在胡說(shuō)八道。

馬庫(kù)斯的另一位同事Douglas Summers-Stay對(duì)此評(píng)價(jià)道：

GPT很古怪，它并不「關(guān)心」你向它提出的問(wèn)題是否被正確回答。

它更像是一個(gè)演員，全神貫注于自己的表演，從不破壞角色，但也只在書(shū)本上了解這個(gè)世界。

像這樣的演員，當(dāng)它的知識(shí)缺失時(shí)，它就開(kāi)始假裝它是專業(yè)的。

就好比一個(gè)扮演醫(yī)生的即興演員，其給出的醫(yī)療建議你是不會(huì)相信的。

不過(guò)，馬庫(kù)斯和戴維斯也在文章中提到，他們?cè)O(shè)計(jì)這些測(cè)試時(shí)，明確這些對(duì)于當(dāng)前的NLP技術(shù)而言是困難的。另外，測(cè)試包括一些重復(fù)的實(shí)驗(yàn)，在157個(gè)示例中，有71個(gè)是成功的，70個(gè)是失敗的，16個(gè)是有缺陷的。

網(wǎng)友熱議

面對(duì)馬庫(kù)斯的開(kāi)噴，有網(wǎng)友認(rèn)為，這些批評(píng)是公正的，也是很多GPT-3相關(guān)文章里都討論過(guò)的事實(shí)。

但也有網(wǎng)友表示，當(dāng)他詢問(wèn)GPT-3，為什么它明明知道正確答案，卻給出了一個(gè)錯(cuò)誤回答時(shí)，GPT-3回答：「我學(xué)會(huì)了說(shuō)謊。」此外，有網(wǎng)友認(rèn)為，GPT-3從來(lái)就沒(méi)打算生成正確的答案。在生成連貫的文字方面，它已經(jīng)做得非常好了。GPT-3的這種進(jìn)步，顯然反映了NLP領(lǐng)域的一種突破。還有網(wǎng)友甩出「舊賬」：馬庫(kù)斯曾經(jīng)在一篇文章中提供了一些測(cè)試用例，以證明GPT-2方法存在基本局限性，而現(xiàn)在，GPT-3「粉碎」了這些問(wèn)題。

比如，問(wèn)：我把兩個(gè)獎(jiǎng)杯放在一張桌子上，然后又增加了另一個(gè)，總數(shù)是？

GPT-3現(xiàn)在能準(zhǔn)確且肯定地回答：3。

測(cè)試路徑

不像GPT-2的擠牙膏開(kāi)源，GPT-3「Open」的形式，是以API的方式提供給普通用戶使用。

當(dāng)然，是收費(fèi)的。

不過(guò)，API現(xiàn)在處于Beta階段，如果你也想試用一番，填寫(xiě)OpenAI官網(wǎng)問(wèn)卷，沒(méi)準(zhǔn)就能先睹為快。

不過(guò)，馬庫(kù)斯也抱怨了，他們申請(qǐng)了好幾次，OpenAI都沒(méi)允許他們?cè)L問(wèn)GPT-3。最后是Douglas Summers-Stay幫助他們進(jìn)行了實(shí)驗(yàn)。

OpenAI缺乏開(kāi)放性，是在嚴(yán)重違反科學(xué)道德，也扭曲了「非營(yíng)利組織」的目標(biāo)。

參考鏈接：

https://cs.nyu.edu/faculty/davise/papers/GPT3CompleteTests.html

https://www.technologyreview.com/2020/08/22/1007539/gpt3-openai-language-generator-artificial-intelligence-ai-opinion/

https://www.reddit.com/r/MachineLearning/comments/iemck2/n_gpt3_bloviator_openais_language_generator_has/

https://news.ycombinator.com/item?id=24244168

— 完 —

本文系網(wǎng)易新聞?網(wǎng)易號(hào)特色內(nèi)容激勵(lì)計(jì)劃簽約賬號(hào)【量子位】原創(chuàng)內(nèi)容，未經(jīng)賬號(hào)授權(quán)，禁止隨意轉(zhuǎn)載。

原標(biāo)題：《馬庫(kù)斯開(kāi)噴GPT-3：演員而已，它根本不知道自己在說(shuō)什么》

閱讀原文