原創(chuàng) 集智俱樂部 集智俱樂部

導語

北京時間10月8日下午5點45分左右，2024年諾貝爾物理學獎頒獎，授予John J. Hopfield 和 Geoffrey E. Hinton，以表彰他們“通過人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)機器學習的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明”。這是復雜系統(tǒng)、統(tǒng)計物理中的經(jīng)典模型“伊辛模型”（Ising Model）及其擴展引發(fā)的又一次諾獎。文末附帶集智俱樂部關(guān)于統(tǒng)計物理、神經(jīng)網(wǎng)絡(luò)、人工智能等方向的讀書會、科普百科和文章等資料。

John Hopfield @The Nobel Prize in Physics 2024

John Hopfield 1954 年在斯沃斯莫爾學院獲得學士學位，1958 年在康奈爾大學獲得物理學博士學位。他在貝爾實驗室理論組工作了兩年，隨后在加州大學伯克利分校（物理學）、普林斯頓大學（物理學）、加州理工學院（化學和生物學）任教。John Hopfield 1969 年獲美國物理學會奧利弗?巴克利獎，1973 年當選美國國家科學院院士，2001 年獲國際理論物理中心（ICTP）狄拉克獎?wù)隆?/p>

Geoffrey E. Hinton@The Nobel Prize in Physics 2024

Geoffrey Hinton，2018年圖靈獎得主，被譽為"深度學習之父"。他在神經(jīng)網(wǎng)絡(luò)和機器學習領(lǐng)域的開創(chuàng)性工作，為人工智能的革命性進展奠定了基礎(chǔ)。Hinton的反向傳播算法和對比散度算法等貢獻，極大地推動了深度學習技術(shù)的發(fā)展和應(yīng)用，對語音識別、圖像處理等領(lǐng)域產(chǎn)生了深遠影響。他的研究不僅在學術(shù)界受到高度評價，也對工業(yè)界產(chǎn)生了重大影響，推動了谷歌、蘋果等公司的技術(shù)進步。Hinton對AI倫理和潛在風險的深刻洞察，為確保技術(shù)負責任的發(fā)展提供了重要指導。他的持續(xù)研究和對教育的重視，不斷激勵著新一代研究者，推動著人工智能技術(shù)的創(chuàng)新和進步。

類Ising模型再獲諾獎：

從Ising模型到人工神經(jīng)網(wǎng)絡(luò)

張江 | 作者

這次的諾貝爾物理學獎和復雜科學的關(guān)系十分密切，這主要體現(xiàn)在 Hopfield 提出的神經(jīng)網(wǎng)絡(luò)模型可以看作是復雜系統(tǒng)、統(tǒng)計物理中的經(jīng)典模型——“伊辛模型”（Ising Model）的一種推廣。伊辛模型很好地體現(xiàn)了復雜系統(tǒng)中普遍存在的有序與無序競爭。二維的伊辛模型可以看作是展現(xiàn)有序-無序臨界相變現(xiàn)象（也稱作混沌與秩序的邊緣）的最小模型。

伊辛模型的一個通俗版本就是觀點動力學模型：假設(shè)有一個村落，大家開始選村長，是張三還是李四？假設(shè)每個村民都會受周圍四個鄰居的影響，鄰居選張三多，則該村民也傾向于投票張三。當然，每個村民也存在一定的個性，也就是說它可能會以一定的傾向不去顧及周圍鄰居的選擇，而完全按照自己的意愿來投票。就這樣，每一周期，每個村民就去看看周圍鄰居的選擇，然后決定自己的投票。這樣演化下去，村民的投票選擇就會形成一定的動態(tài)。調(diào)整獨立選擇傾向性參數(shù)，會得到不同的動態(tài)結(jié)果。如果傾向性高，則系統(tǒng)演化會非常隨機；如果傾向性低，則系統(tǒng)會演化到所有村民都只選擇某一個選擇上；存在一個臨界的傾向性，系統(tǒng)展現(xiàn)出高度的復雜性：每個村民會對到底選張三還是李四而猶豫不決，反復改變。

圖1. 二維的伊辛模型，每個小箭頭就代表一名村民，向上代表選擇張三，向下選擇李四。每個村民受到上下左右四個鄰居，以及是否傾向于自己的意愿選擇的影響。

Hopfield 網(wǎng)絡(luò)是對伊辛模型的擴展。首先，每個神經(jīng)元就是一個村民，其次他們生活在高度發(fā)達的網(wǎng)絡(luò)社會，因此每個神經(jīng)元之間的鏈接是一個全連接的網(wǎng)絡(luò)。

其次，村民之間的鏈接不再是一成不變的，而是會隨著神經(jīng)網(wǎng)絡(luò)的訓練過程而發(fā)生演變。訓練的最終目標就是要讓整個網(wǎng)絡(luò)上各個神經(jīng)元經(jīng)過類似村民投票規(guī)則的演化所形成的最終狀態(tài)能夠滿足一定的要求的分布形式，如上圖左邊黃色，右邊綠色的分布，從而讓網(wǎng)絡(luò)具備一定的記憶能力。

當然，這種網(wǎng)絡(luò)還和今天常見的前饋類型的神經(jīng)網(wǎng)絡(luò)相差太遠，于是，Hinton 就在 Hopfield 模型基礎(chǔ)上做了擴展，得到一種能夠區(qū)分輸入和輸出的二分網(wǎng)絡(luò)，其中一部分接收輸入數(shù)據(jù)，另一部分則起到記憶作用，這種網(wǎng)絡(luò)稱為“受限的玻爾茲曼機”（Restricted Boltzmann machine）。將多種這樣的網(wǎng)絡(luò)串聯(lián)起來，還可以形成深度的網(wǎng)絡(luò)，這也構(gòu)成了第一個可以被稱為“深度神經(jīng)網(wǎng)絡(luò)”的架構(gòu)。

諾貝爾獎委員會對此次物理學獎的介紹

今年的兩位諾貝爾物理學獎獲得者是 John Hopfield 和 Geoffrey Hinton，他們基于物理學工具提出的方法為機器學習的強大能力奠定了基礎(chǔ)。John Hopfield 提出的聯(lián)想記憶（associative memory），可以存儲和重建數(shù)據(jù)（包括圖像和其他類型的數(shù)據(jù)）中的模式。Geoffrey Hinton 發(fā)明了可以自主發(fā)現(xiàn)數(shù)據(jù)屬性的方法，從而執(zhí)行諸如識別圖片中特定元素等任務(wù)。

當我們談?wù)撊斯ぶ悄軙r，通常指的是使用人工神經(jīng)網(wǎng)絡(luò)的機器學習。這項技術(shù)最初受大腦結(jié)構(gòu)的啟發(fā)。在人工神經(jīng)網(wǎng)絡(luò)中，大腦的神經(jīng)元由具有不同數(shù)值的節(jié)點表示。節(jié)點之間通過類似突觸的連接相互影響，影響可以增強或減弱。通過對同時具有高數(shù)據(jù)的節(jié)點之間的連接進行加強等方式，可以對人工神經(jīng)網(wǎng)絡(luò)進行訓練。今年的獲獎?wù)咦陨鲜兰o80年代以來在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域開展了重要工作。

人工神經(jīng)網(wǎng)絡(luò)最初是受大腦神經(jīng)元的啟發(fā)

John Hopfield 發(fā)明的 Hopfield 網(wǎng)絡(luò)，專門用于存儲和重建模式。我們可以將節(jié)點想象為像素，整個 Hopfield 網(wǎng)絡(luò)就對應(yīng)一副圖像。Hopfield 網(wǎng)絡(luò)利用了物理學中描述材料特性的自旋方法（自旋是使每個原子成為微小磁鐵的屬性）。借鑒物理學中描述自旋系統(tǒng)能量的方式，可以對 Hopfield 網(wǎng)絡(luò)作為一個整體進行描述，并通過尋找節(jié)點之間的連接值進行訓練，從而保存具有較低能量的圖像。當 Hopfield 網(wǎng)絡(luò)接收到失真或不完整的圖像時，它會按照一定的策略遍歷節(jié)點并更新其值，從而降低網(wǎng)絡(luò)的能量。這樣，Hopfield 網(wǎng)絡(luò)就能逐步從存儲的圖像中找到與輸入圖像最相似的圖像。

John Hopfield 提出的聯(lián)想記憶（associative memory）可以存儲和重建數(shù)據(jù)中的模式。

Geoffrey Hinton 以 Hopfield 網(wǎng)絡(luò)為基礎(chǔ)發(fā)明了一種新的網(wǎng)絡(luò)——玻爾茲曼機（Boltzmann machine）。玻爾茲曼機能夠通過學習識別給定數(shù)據(jù)類型中具有特征的元素。Hinton 借助統(tǒng)計物理的工具——統(tǒng)計物理主要研究由大量粒子組成的系統(tǒng)的整體行為和性質(zhì)——通過輸入在運行過程中可能出現(xiàn)的示例對玻爾茲曼機進行訓練。訓練好的玻爾茲曼機可以用來對圖像分類，或生成與訓練示例的模式類似的新圖像，Hinton 在此基礎(chǔ)上進一步發(fā)展，開啟了當前機器學習的爆炸性發(fā)展。

不同類型的神經(jīng)網(wǎng)絡(luò)

諾貝爾物理學委員會主席 Ellen Moons 表示：“獲獎?wù)叩墓ぷ饕呀?jīng)帶來了巨大的益處。在物理學中，我們在開發(fā)具有特定屬性的新材料等廣泛的領(lǐng)域使用人工神經(jīng)網(wǎng)絡(luò)。”

原標題：《2024年物理諾獎授予人工神經(jīng)網(wǎng)絡(luò)：統(tǒng)計物理引發(fā)的機器學習革命》

閱讀原文