- +1
有效利他主義與現實:OpenAI革命性的治理模式已死?
【編者按】在震驚科技界的OpenAI管理層“變天”中,對創始人山姆·奧特曼被突然解雇最普遍的說法是,一個長期存在的問題導致了管理層的分裂:奧特曼致力于將OpenAI(最初是一家非營利組織)轉變為一家成功的企業,希望公司快速推出產品和吸引客戶,引發了董事會成員對人工智能工具安全性的擔憂。
尤其是創始人、首席科學家伊爾亞·蘇茨克維(Ilya Sutskever),對安全問題的擔憂越來越直言不諱,并在7月組建了一個“對齊(注:引導人工智能系統的行為使其符合設計者的利益和預期目標)”團隊。消息人士透露,他和奧特曼的緊張關系在10月加劇,到了11月6日OpenAI首屆開發者大會,奧特曼宣布允許任何人創建自定義的GPT,激怒了蘇茨克維。
對于一家正在談判以高達860億美元估值出售股票的公司來說,理念上的分歧通常不會讓它走向滅亡,但OpenAI不是一家普通公司。它從建立之初就不一樣,隨后設定的權力結構和董事會性質都不一樣。
要明白OpenAI此次不尋常地震的緣由,就必須了解其歷史和哲學。11月20日,知名科技博客Techtris發表文章,詳細解釋和梳理了OpenAI治理模式的矛盾之處,并判斷:OpenAI試圖向大型科技公司展示以不同于以往的方式運營,但失敗了。以下為這篇文章的內容:
今年6月,山姆·奧特曼(中)和伊爾亞·蘇茨克維(右)在以色列的一次活動上發言。
OpenAI是人工智能運動的時代精神企業,它在一周的時間里從表面上的勝利變成了災難。
本周早些時候舉行的大型產品演示“開發者日”表明該公司正在加速其技術的商業化和實際推廣。但周五(11月17日)下午,該公司董事會宣布首席執行官山姆·奧特曼(Sam Altman)——也許是人工智能最著名的倡導者和首席執行官——將立即離職。
官方聲明沒有做出任何努力來掩蓋這是一次開除,稱董事會對奧特曼失去了信心。不同尋常的是,也幾乎沒有做出任何努力納入重要的利益相關者:股東和高級管理人員完全不參與其中。
該公司現在似乎正在崩潰:高級管理人員正在離職,投資者想要答案,據報道董事會正在尋求奧特曼的回歸。除非你了解OpenAI的奇怪歷史、它的哲學,以及它現在如何與現實發生沖突,否則所發生的事情看起來是不可理解的。
一切都始于有效利他主義
有效利他主義(Effective Altruism)——我之前寫過——最初是慈善領域的一個相對簡單的想法:在最有效的地方捐款,而不是僅僅為了“溫暖的光輝”而無效地捐款。

有效利他主義運動的創始人、英國哲學教授威廉·麥克阿斯基爾(William MacAskill)。
其早期邏輯是根據經驗測試不同干預措施的有效性,并為那些效果最好的干預措施提供資金——這傾向于表明,將資金瞄準最貧困國家和最貧困人口,會比瞄準富裕國家取得更好的結果,驅蟲或者蚊帳等干預措施特別受歡迎。
鑒于以功利主義數學為基礎,該運動開始吸引來自大型科技公司的支持者,他們開始進一步推動這一邏輯。當你可以通過賺更多錢來增加捐款數額時,為什么只關注捐贈的錢呢?這種邏輯表明,如果你有能力,在對沖基金或大型科技公司工作并進行捐贈比為慈善機構工作更道德。名譽掃地的前FTX(注:全球最大加密貨幣交易所之一)老板山姆·班克曼-弗里德 (Sam Bankman-Fried)在倒臺之前一直是這一信條的典型代表。
這個邏輯可以進一步推演:為什么我們應該只考慮今天還活著的人?如果未來的人口可能比今天多數十億(甚至數萬億),那么針對長期的干預措施可能會比今天實施的干預措施更加有效。
這種邏輯將信奉有效利他主義的人指向兩件事:星際定居(這樣人類就可以在地球滅絕事件之后生存)和通用人工智能(AGI)——人工智能的超級智能版本,如果正確“對齊”,可以為人類謀福利,極大地提高我們生存的長度和質量。
對齊上的“如果”非常重要:那些尋求高度先進的AGI的人,已經看過我們其他人所看過的所有相同的人類與機器人電影,并且同樣意識到人工智能可能會輕松終結人類,就像舉起人一樣輕松。
這就是OpenAI應該發揮作用的地方。
進入OpenAI
簡而言之,OpenAI最初是作為一個真正的非營利組織成立的,其目標是推進安全AGI的引入。
這是壓倒一切的優先事項,無意關注利潤動機或風險資本家的巨額回報。包括埃隆·馬斯克在內的資助者似乎承諾在該組織的發展過程中向該組織提供數十億美元,因此它不需要擔心支付該項目的賬單。
由于各種原因——一如往常,包括性格沖突和方向差異——這種“純粹”的非營利模式并沒有持續多久,OpenAI原本以為可以從馬斯克那里得到的錢也枯竭了。這使得OpenAI需要嘗試吸引商業參與者的投資,他們合理地希望一家公司能夠給他們帶來回報。
在奧特曼領導的一系列舉措中,OpenAI轉向了混合結構——值得提一下,奧特曼本人是OpenAI許多非商業動機的真誠信徒。它將能夠為投資者帶來利潤和回報,甚至有可能最終進行首次公開募股。

OpenAI的組織結構。
然而,投資者被警告說,他們應該考慮到OpenAI可能永遠不會產生利潤,該公司不會主要專注于實現利潤,而且他們最好認為,任何投資都更接近于捐贈,而不是產生回報。
OpenAI最大的投資者(注:微軟)沒有在董事會中獲得席位,甚至奧特曼本人也沒有該公司的任何股權——這對于該行業來說幾乎是聞所未聞的情況。從理論上講,該模式將吸引志同道合的投資者,愿意接受極其不尋常的治理情況,這將有助于公司專注于其使命。
作為交換,投資者可以預期的回報規模有一個相對慷慨的上限:即他們投入的100倍。因此,投資了10億美元的微軟最多可以期望1000億美元的回報。
這些顯然是天文數字的回報,但在大型科技領域并非完全聞所未聞——因此,從本質上講,你的投資可能會取得巨大成功,你將永遠擁有其收入的可觀份額,但如果公司實現了AGI,就不是那么回事了。
直到上周左右,這種模式似乎還有效。OpenAI越來越成為一個名字,而不是一個原則,因為它生成的模型早已不再默認開源,而且該公司現在運營的開源程度不如Meta的人工智能項目。
那么……出了什么問題?
什么才算有效?
情況仍然不明朗,但據我們所知,山姆·奧特曼被趕下臺的核心是創始人之間的舊式糾紛。據稱,OpenAI首席科學家兼聯合創始人伊爾亞·蘇茨克維(Ilya Sutskever)是此次罷免的幕后推手——基于對商業化與研究速度的擔憂,以及是否對安全性給予足夠重視。
OpenAI現在擁有一款熱門產品,很多人認為它即將在不久的將來用于內容生成、呼叫中心管理等眾多用途。還有多種具有類似功能的競爭對手產品。
在這里,有效利他主義的邏輯不再提供明確的答案,特別是對于那些認為強大的通用人工智能在中期內可能實現,并且在不同程度上擔心其危險的人。
一組邏輯告訴你:做研究是昂貴的,如果你有錢,做昂貴的事情會容易得多。收入是獨立性的最佳保證,因此OpenAI應該將其擁有的技術貨幣化,以便成為現在人工智能和人工智能安全辯論的主要參與者,并為真正的通用人工智能的工作提供資金。
另一組邏輯告訴你,今天的商業干擾和妥協將阻止本應繼續建設未來的工作——無論這意味著更加努力、更快地專注于開發通用人工智能,還是首先停下來研究如何安全地做到這一點。
今天,任何一個人都會有反對商業化的論點——而且在有效利他主義的數學方法下,所有這3個論點都是合理的。這僅取決于你如何設定不同的不可知風險和回報。事實證明,有效利他主義并不能真正起到逃避戰略決策的作用——現實中很少有真正的“正確”答案。
有效利他主義與現實
從表面上看,OpenAI董事會所做的一切完全在其權力范圍內。它的章程賦予其罷免首席執行官的權力,投資者知道他們在董事會中沒有席位,也不會獲得席位。他們還知道已簽署文件確認他們知道OpenAI不會采取行動來最大化他們的回報。投資者針對這一決定提起訴訟將很難獲勝。
然而,世界實際上并不是這樣運作的。你可能在紙面上擁有很大的權威,然后發現它在實踐中幾乎毫無意義。簡單的現實是,奧特曼是大多數高級員工忠誠的人,沒有什么可以阻止他在周一創辦一家新的人工智能初創公司。
不像OpenAI,由于(新公司)提供了不受任何投資限制的回報選擇,很明顯OpenAI的幾位主要支持者會愿意更換團隊——他們中的幾位此時已經公開表示了這一點。很明顯,許多高級員工將挪窩。
OpenAI將面臨所有高級團隊被掏空、投資者支持同時崩潰的局面,而在這種背景下它還需要擊退新的競爭對手。董事會根本沒有認識到非正式的權力力量,而是過度關注正式的權力力量。
這幾乎與董事會的失敗一樣引人注目:他們的全部目的是看到整體,而不僅僅是適合他們的部分。它也顯示了有效利他主義的更廣泛問題:理論上很容易將事物簡化為規則、排名、文件等。當它遇到現實時就會崩潰。
接下來會發生什么誰也說不準。據報道,OpenAI董事會正試圖吸引奧特曼回來——如果不對董事會進行重大治理和人事變動,他不愿意這樣做,這是可以理解的。投資者不太可能愿意在沒有董事會席位的情況下維持更長時間。
OpenAI目前的治理模式已經死亡——一件有意思的事情是,如果奧特曼回歸,這位富有利他主義、富有同情心的CEO是否愿意容忍對自己權力的限制。最重要的是,OpenAI試圖建立一家大型科技初創公司,而創始人/首席執行官并未擁有無懈可擊的權力。
OpenAI正試圖通過兩種方式改變世界:構建安全且革命性的人工智能模型,以及向大型科技公司展示可以以不同于以往的方式運營。對于前者還沒有定論,但后者的實驗現在看起來非常失敗。





- 報料熱線: 021-962866
- 報料郵箱: news@thepaper.cn
互聯網新聞信息服務許可證:31120170006
增值電信業務經營許可證:滬B2-2017116
? 2014-2025 上海東方報業有限公司