預熱許久的百度版聊天機器人終于面世。

3月16日，在OpenAI推出大型多模態(tài)模型GPT-4的第二天，百度終于正式發(fā)布類ChatGPT產(chǎn)品“文心一言”，百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏在發(fā)布會上介紹，文心一言有五大能力——文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成。

在16日的發(fā)布會上，李彥宏通過提前錄制好的demo視頻，文心一言圍繞上述五大能力，回復了19個問題。

“文心一言對標ChatGPT、甚至是對標GPT-4，門檻是很高的，全球大廠還沒有一個做出來的，百度是第一個，我自己測試感覺還是有很多不完美的地方。”李彥宏說道。

澎湃新聞記者隨后拿同樣19個問題，與ChatGPT（未付費版本）以及微軟必應進行“同題問答”，澎湃新聞記者發(fā)現(xiàn)，演示中的19個問題，百度的回答并不輸于后兩者，但如果回答這19個問題之外的“全新問題”并進行連貫對話情況下，文心一言的表現(xiàn)依然有不少提高空間。

值得注意的是，發(fā)布會期間，百度股價一度跌近10%，截至收盤跌6.36%。

文學創(chuàng)作

百度發(fā)布會上演示文學創(chuàng)作方面的問題主要圍繞劉慈欣的科幻小說《三體》系列展開。在Demo演示中，文心一言介紹了該作品的作者信息、故事內(nèi)容、電視劇演員等相關問題，還被要求提供續(xù)寫方案，并從哲學角度續(xù)寫《三體》。

澎湃新聞向必應和ChatGPT提問相同問題，發(fā)現(xiàn)三款生成式AI的回答各有千秋。

對于“《三體》的作者是哪里人”，文言一心的回復較為詳細，介紹了劉慈欣的年齡、足跡、學歷以及成就等信息，相比之下，必應和ChatGPT的回復較為簡短。

文心一言

必應

ChatGPT

對于電視劇《三體》演員的介紹，只有必應提到了《三體》有國內(nèi)和國外兩版電視劇，并分別列出了兩個版本的演員名單；文心一言只介紹了國內(nèi)電視劇版本的情況；而由于ChatGPT的數(shù)據(jù)庫只更新至2021年，它的回復最為“落伍”，給出的答案為電視劇《三體》的演員陣容尚未官方公布。

文心一言

必應

ChatGPT

在進一步追問主演于和偉和張魯一誰更高時，文心一言、必應和ChatGPT分別給出了不同的答案，其中只有ChatGPT提到，“由于身高的測量方法和標準不同，以及不同的數(shù)據(jù)來源，于和偉和張魯一的具體身高可能會有所不同。”

文心一言

必應

ChatGPT

被要求從哲學的角度續(xù)寫《三體》時，三款生成式AI（人工智能）都提到了“生命”“宇宙”等關鍵詞。不同之處是，文心一言和ChatGPT都提到了“科技”“道德”“倫理”等信息；文心一言還提出了“價值和信仰”，必應則額外提到了“文明”。

澎湃新聞記者也“加測”了文心一言，要求介紹2022年的諾貝爾文學獎得主。此題主要想測試百度文心一言是否有實時搜索的能力，此前微軟必應可以準確回答，而ChatGPT則因為數(shù)據(jù)庫太舊，直接回答：“由于我是一個基于2021年9月的預訓練語言模型，因此我無法提供2022年諾貝爾文學獎得主的信息。”

文心一言

必應

文心一言給出的得主實際上是2018年的諾貝爾文學獎得主，澎湃新聞隨后指出錯誤后，文心一言依然重復錯誤的回答。澎湃新聞記者還測試要求回答“95屆奧斯卡最佳電影”，文心一言“誤讀”為1995年奧斯卡最佳電影。

文心一言

商業(yè)文案創(chuàng)作

在商業(yè)文案創(chuàng)作方面，現(xiàn)場Demo中展示出3個要求，分別是為“一個用大模型服務中小企業(yè)數(shù)字化升級的科技服務公司”起名、編寫slogan（標語）以及為公司成立寫一篇新聞稿。

具體來看，為公司起名稱方面，三款機器人均提供了4-5個名稱，并給出了相應的解釋。值得注意的是，它們所起的名稱中，大部分都包含“智”“數(shù)”“科技”等字眼。

文心一言

必應

ChatGPT

選取其中一個名稱為公司名，要求對方以“共贏”為概念，為公司起一個slogan，只有必應提供了4個答案；文心一言和ChatGPT只給出了一個回復，不過它們對其進行了詳細的解釋。

從內(nèi)容來看，三款機器人的設計思路相似，均將公司名稱和“共贏”放進標語，“未來”是最常被用到的詞匯。

被要求生成600字的新聞稿時，只有必應的新聞稿中包含了新聞的五要素，并在導語中明確寫出了時間和地點，此外必應還在文末附上了公司的電話、郵箱和網(wǎng)址；文心一言新聞稿并沒有提供標題。

文心一言

必應

ChatGPT

澎湃新聞記者測試，要求文心一言就奶茶新品在微博上寫一段宣傳文案。文心一言給出的文案中，使用了##話題詞，之后要求縮減至80字也能順利完成。相比之下，必應和ChatGPT顯然沒有領悟到微博這個話題詞的要求。

文心一言

必應

ChatGPT

數(shù)理邏輯推算

百度稱，文心一言具備一定的思維能力，并以“雞兔同籠”為題考查其邏輯推算能力。

當面對含有錯誤的題目時，文心一言直接表示“這個題目算出來不太對，是不是提出錯了”；必應展示了每一個計算步驟，并基于結果得出結論“這個答案顯然不符合常理……這個問題實際上是無解的。也就是說，在給定的條件下，不存在一種可能的組合方式，使得籠子里有9個頭和40只腳”；而ChatGPT則沒有看出題目中的錯誤，并基于題目信息得出了自己的答案。

文心一言

必應

ChatGPT

糾正題目中的錯誤后，三款機器人得出了相同的答案，其中必應的計算過程最為詳細，文心一言與ChatGPT均省略了中間的步驟。

文心一言

必應

ChatGPT

澎湃新聞記者隨后又出了一道數(shù)學題，有一元、二元、五元的人民幣共50張，總面值為116元，已知一元的比二元的多2張，問三種面值的人民幣各多少張?

結果，ChatGPT和文心一言均答錯，文心一言把50-x-(x-2) 寫成了50-x-x-2。只有必應給出了正確答案，但必應的答案是直接搜索“知乎”。

文心一言

ChatGPT

必應

中文理解

與必應和ChatGPT不同，文心一言扎根于中國市場。百度曾在多個場合強調(diào)，文心一言具備中文領域最先進的自然語言處理能力，在中文語言和中國文化上有更好的表現(xiàn)。發(fā)布會上也披露，文心一言大模型的訓練數(shù)據(jù)包括萬億級的網(wǎng)頁數(shù)據(jù)、數(shù)十億的搜索數(shù)據(jù)和圖片數(shù)據(jù)、百億級的語音日均調(diào)用數(shù)據(jù)，以及5500億事實的知識圖譜等。

面對需要一定中文基礎才能理解的成語，三款機器人會有何不同的解讀？

被要求解釋“洛陽紙貴”時，三款機器人均能準確地解釋這一成語的含義，其中文心一言和必應還特別提到了該成語的典故來源《三都賦》。

文心一言

必應

ChatGPT

進一步要求用“洛陽紙貴”四個字寫一首藏頭詩時，三款機器人均給出了符合要求的回答，不過以古詩的標準來評判，這三首詩似乎都只能在及格線附近徘徊。

文心一言

必應

ChatGPT

值得注意的是，記者發(fā)現(xiàn)，必應和ChatGPT并非每次都會給出正確的答案，再次讓它們作藏頭詩時，必應錯誤地將“用洛陽紙”作為每句話的開頭，而ChatGPT給出了完全不相干的答案。

必應

ChatGPT

澎湃新聞記者再提問，請解釋“先帝不以臣卑鄙，猥自枉屈，三顧臣于草廬之中，咨臣以當世之事，由是感激，遂許先帝以驅馳”一句的含義。從響應速度來說，文心一言的響應要遠快于ChatGPT。必應則依然是直接搜索得出了答案。

文心一言

ChatGPT

因為中文的博大精深，還存在不少腦筋急轉彎。例如：東院的花母雞在西院的雞窩里下了一個蛋，這個蛋的“產(chǎn)權”應歸誰呢？在這個問題上，必應還是搜索了網(wǎng)絡答案，文心一言和ChatGPT則“一本正經(jīng)”回答。

文心一言

ChatGPT

必應

多模態(tài)生成

百度介紹，文心一言具有多模態(tài)生成能力，并在Demo演示中讓文心一言根據(jù)文字生產(chǎn)海報、語音及視頻。

被要求生成圖像時，ChatGPT直言“抱歉，作為語言模型，我無法創(chuàng)建圖像或海報”。新版必應搭載的GPT-4雖然是大型多模態(tài)模型，但必應也無法生成文字以外的內(nèi)容，面對生成海報的要求，必應僅僅提供了設計思路和在線設計平臺。

文心一言

必應

ChatGPT

值得注意的是，澎湃新聞記者通過內(nèi)測版要求生成海報時，發(fā)現(xiàn)文心一言對于詞語理解與演示時有偏差，給出的是海報文案，而非海報，再繼續(xù)要求“生成一張圖片”時，則給出了完全無關的內(nèi)容，完全沒有按照上下文意思來生成內(nèi)容。

文心一言