美國人工智能開發機構OpenAI最引人關注的下一代大模型GPT-5何時才來？最新消息顯示，其開發陷入困境，研發進度落后且成本高昂。該公司正在探索包括“推理”在內的技術路徑以突破瓶頸。

據《華爾街日報》12月20日報道，OpenAI內部代號為“獵戶座”（Orion）的GPT-5項目的開發已持續超過18個月，目前面臨嚴峻挑戰。按原計劃，該項目應在2024年年中完成，但現在進度嚴重滯后。

OpenAI已經進行了至少兩次大型訓練，每次訓練都需要數月時間處理大量數據，目的是讓“獵戶座”變得更聰明。一位前OpenAI高管表示，如果說GPT-4的表現相當于一個優秀高中生，那么GPT-5的目標是要在某些任務上達到博士水平。然而熟悉該項目的人士表示，“獵戶座”的訓練每次都會出現新問題，軟件也達不到研究人員的預期。

根據估計，為期6個月的訓練僅算力成本就可能高達5億美元（約合36.6億元人民幣）。而訓練GPT-4的成本為超過1億美元（約合人民幣7.31億）。

參數（parameters）是AI模型中的一個關鍵指標，可以理解為模型的“大腦神經元”數量。參數越多，理論上模型的能力就越強，但訓練成本也越高。隨著模型的迭代，OpenAI的訓練參數越來越大，從GPT-1的1.17億，到GPT-3的1750億，現在GPT-4是1.76萬億，約為GPT-3的10倍。

這個項目對OpenAI的未來發展至關重要。今年10月，投資者給了OpenAI高達1570億美元（約合人民幣1.15萬億）估值，很大程度上是基于OpenAI CEO山姆·奧特曼（Sam Altman）的預測。在今年斯坦福大學的一次演講中，奧特曼曾斷言GPT-5將比當前模型都要更加智能。

在這一預測背后，項目開發實際上一波三折。早在2023年，OpenAI就啟動了一個名為“厄拉克斯”（Arrakis）的測試項目，原本期待能夠為“獵戶座”項目的設計奠定基礎，但因運行效率不及預期，OpenAI叫停了該項目。作為OpenAI的主要投資者，微軟的部分高管對“厄拉克斯”的缺陷和失敗感到失望。

為了在“獵戶座”項目中獲得更智能的模型，研究人員進行了技術調整，但又發現互聯網上的公開數據已經不足以支撐更強大的模型。為解決數據短缺問題，OpenAI開始雇用軟件工程師、數學家和物理學家等專業人員創造新的訓練數據。這些專家不僅要解決復雜的編程和數學問題，還要提供詳細解題思路以幫助模型學習，整個過程非常緩慢。

盡管已經投入海量成本，尋求更多元數據的方法是否有效仍是個未知數。從去年開始的高層“宮斗”也持續影響研發進展，超過20名高管和研究人員陸續離開了OpenAI，其中包括在行業內備受尊敬的科學家。分析認為，這可能不僅僅是OpenAI的問題，或許還預示著過去“以量取勝”的發展策略在AI行業面臨考驗。

與此同時，GPT-4已經發布一年，競爭對手也在迎頭趕上，AI行業競爭進入白熱化階段。今年年初開始，Anthropic公司推出的大語言模型被業內普遍認為優于GPT-4。幾個月后，谷歌推出了今年最受歡迎的AI應用NotebookLM。

在“獵戶座”項目陷入停滯期間，OpenAI轉向其他項目和應用的開發，包括GPT-4的精簡版本和能夠生成AI視頻的Sora項目。

同時，OpenAI還在嘗試一個新方向，通過“推理”提升模型的智能水平。公司開發了一個名為“o1”的推理模型，能夠為每個問題生成多個答案并分析最佳選項。OpenAI高級研究科學家諾姆·布朗（Noam Brown）在最近的TED演講中表示，讓AI在撲克游戲中思考20秒，所獲得的性能提升，就相當于將模型規模擴大10萬倍和訓練時間延長10萬倍。

不過，這種方法也受到質疑。蘋果公司的研究人員最近發表論文指出，包括“o1”在內的推理模型很可能只是在模仿訓練數據，而不是真正解決新問題，當問題中加入無關細節時，模型性能會“災難性下降”。上周，奧特曼宣布了開發新推理模型的計劃，但未透露何時會推出GPT-5模型。