傑佛瑞．辛頓Geoffrey Hinton（1947-） - 國立臺灣大學科學 ...

2018年，Hinton與曾追隨自己的博士後研究員LeCun，以及好友Yoshua Bengio（1964-），因對深度學習的貢獻，三人共同獲頒杜林獎。

撰文／陳裕銘｜編輯／高 ... AI人物 AI與創造它的科學家 人工智慧&電腦、資料科學  2021年08月26日2021年10月04日 CTKao 反向傳播,涂林獎,深度學習 雖然是英國人，Hinton日後的發展重心卻放在北美，更讓加拿大一躍成為AI的研發重鎮。

Hinton極力推廣反向傳播演算法，將已然失去市場信心的「（多層）人工神經網路」重新包裝為「深度學習」，並與學生大力向學界以及大眾推銷這款新瓶舊酒。

2012年，Hinton的學生AlexKrizhevsky，以AlexNet贏得當年ImageNet大規模視覺識別挑戰賽冠軍。

2018年，Hinton與曾追隨自己的博士後研究員LeCun，以及好友YoshuaBengio（1964-），因對深度學習的貢獻，三人共同獲頒杜林獎。

撰文／陳裕銘｜編輯／高敬堂 審訂／蔡宗翰（國立中央大學資訊工程學系教授） ●不平凡的家族，造就不平凡的人生 1947年，Geoffrey Everest Hinton 出生於英國倫敦西南方的溫布頓（Wimbledon），是男方Hinton家族與女方Boole家族優秀基因的繼承者。

他的高外祖父是著名邏輯學家GeorgeBoole，也就是布林代數（Booleanalgebra）──我們所熟知布林邏輯（Booleanlogic）──的發明者，奠定了現代電腦科學的基礎；Hinton的中間名Everest，來自其曾祖母的叔叔，同時也是位地理學家的George Everest，珠穆朗瑪峰的英文名稱「埃佛勒斯峰」便是以他的名字命名。

生在如此優秀的家族，注定了GeoffreyEverestHinton傳奇的一生，但如此輝煌的家族歷史，也從童年開始，帶給他莫大壓力。

在一次與《彭博商業周刊》的訪談中，Hinton說道：「在我童年的時候，我的壓力很大。

大概在七歲的時候，我就意識到一件事情：我不讀個博士是不行的！」。

●與大多數成功的人一樣，求學不總是那麼順利 高中時期，Hinton 進入了他口中的「二流公立學校」──克里夫頓學院（CliftonCollege）──就讀。

某天一位朋友對他說：「你知道嗎？大腦的記憶並不是儲存在某個特定的地方，而是分佈在整個大腦，在整個神經網路裡傳播。

」也是從這個時候起，Hinton對大腦的運作深深著迷。

「那是我第一次真正認識到大腦是如何工作的。

」這是他人生的關鍵，也是他成功的起點。

但是很顯然的，Hinton的「AI教父之路」並非一帆風順。

剛畢業，18歲的他進入英國劍橋大學國王學院攻讀物理和化學。

這是Hinton第一次離家自己生活，周圍又沒有人陪伴，只讀了一個月就休學了。

第二年，他改修建築學，但這次堅持的時間更短：一天！之後他又先後嘗試過幾門不同的學科──出於對大腦的好奇修習生理學，又用了一年的時間修完原先預定兩年完成的哲學課程──最終輾轉來到心理學，並在1970年獲得實驗心理學學士學位。

Hinton謔稱自己患有「學習上的過動症」。

畢業後的Hinton成了一名木匠，一邊做書架、木門，一邊思考人類大腦的運作原理，並在一年多後回歸學術界。

1972年，Hinton進入蘇格蘭愛丁堡大學攻讀博士，研究當時人工智慧領域中備受冷落的神經網路。

Hinton在採訪中回憶道：「當我研究神經網路時，我的導師告訴我很多次：不要再浪費時間研究神經網路了！我會跟他說再給我六個月，我會證明這是有效的；然後每六個月之後，我會再跟他說一次一模一樣的話。

」 ●神經網路的沒落 Hinton投入神經網路研究的初期，受到FrankRosenblatt很大的影響。

1950年代後期，Rosenblatt在前人的研究成果上，仿照生物神經元提出稱為「感知器」（perceptron）的「人工神經元」，只是理想很豐滿，現實卻很骨感：雖然這套理論是有效的，然而一來Rosenblatt的感知器屬於單層神經網路，本身能夠做的事情不多，且受限於當時硬體設備的運算能力低下，效果並不理想。

Rosenblatt的一位同事MarvinMinsky與SeymourPapert在60年代後期的著作《感知器：計算幾何學概論》（Perceptrons:anintroductiontocomputationalgeometry）中，詳盡說明了單層神經網路的限制以及功能不足之處。

幾乎所有的學者都一致相信這是個沒有未來、註定失敗的一條路，等同斷送了類神經網路的發展前途；當然，也只是「幾乎」而已。

對於Hinton而言，「大腦就是一個巨大的神經網路。

因此，神經網路一定是可行的，因為它在我們的大腦中起作用。

」當採訪記者問道：「為什麼緊追著神經網路不放？當其他人都放棄時，您還是認為這是條正確的道路嗎？」Hinton淡然又自信地回答：「不！其他人都錯了。

」 ●出走北國 1978年取得博士學位後，Hinton來到大西洋的彼岸，在美國匹茲堡的卡內基梅隆大學（CarnegieMellonUniversity）找到工作。

只是當時大多數的人工智慧研究計畫都受到美國國防部的支持，然而Hinton十分厭惡自己的研究成果被用在如殺傷性武器的研發等軍事項目上，甚至曾簽署過相關聲明，並鄭重地寫信給英國國防部反對將AI武器化。

為此，Hinton毅然決心離開美國。

正巧加拿大高等研究機構CIFAR（CanadianInstituteForAdvancedResearch）在這個時間廣發英雄帖，邀請那些從事非傳統研究但缺乏資金的優秀科學家。

Hinton於是順水推舟，在1987年與自己的第一任妻子Ros──同時也是位分子生物學家──一同搬遷到加拿大，並在多倫多大學繼續他的研究。

離開美國的時候，他將一美分硬幣上的圖案影印放大，並將其上美國官方格言「InGodWeTrust」（我們信仰神）中的「God」（神）改為「DoD」（DepartmentofDefense，國防部），然後掛在自己的辦公室門上。

Hinton最後證明CIFAR當初的決定是正確的──加拿大已成為當今人工智慧研究的重鎮之一，多家科技巨頭紛紛選擇在多倫多設立AI研究中心。

更有許多優秀人才因為Hinton慕名而來，為這個北方國度的尖端研究效力。

稱Hinton一人奠定了加拿大AI超級大國的地位，一點也不為過。

●神經網路的短暫復興 1986年，Hinton與他的兩位夥伴──DavidRumelhart及RonaldJ.Williams──提出利用反向傳播演算法（backpropagationalgorithm）來訓練神經網路。

雖然反向傳播演算法並不是Hinton發明的，甚至將反向傳播演算法運用在神經網路的這個想法也不是Hinton（而是PaulWerbos於1974年）首先提出；然而如果沒有Hinton等人的努力，反向傳播法或許就不會因為神經網路而發光發熱，成為AI發展史上的一大轉折。

我們可以將神經網路視為一個分類器，而這個分類器其實是由一組相互連接的I/O單元（Input/Output，意即接收輸入並產生輸出的節點）所構成。

對於每一個單元而言，每一筆輸入都有自己的權重（weight），而單元內部也有特定的活化函數（activationfunction）來決定輸出──這就像生物神經元之間有著不同強度（權重）的連結，每個神經元也只有在刺激（輸入）達到一定的閾值（活化函數）後才會有反應（輸出）。

為了讓分類結果更加準確，這個系統需要經過學習與訓練，「反向傳播演算法」便是一種訓練方法：藉由調整各個權重，改變整個網路的輸出，直到得到理想的分類結果。

舉例來說，假設今天我們希望打造一個神經網路，能精準告訴我們圖片中的動物是否是一隻小狗。

然而在訓練開始之前，我們給網路看一張小狗的照片，網路卻告訴我們這是隻貓，這時實際情況（狗）與網路的分類結果（貓）有著不小的落差。

反向傳播法便是依據落差大小來微調各節點的權重，一次又一次、不厭其煩地嘗試，直到落差縮小，網路的分類結果與真實情況相符。

由於更新順序是由較深層（後方）的單元逐步調整至較淺層（前方）的單元，因而稱作「反向傳播」；而這種已經預先知道答案、預設分類器應該有什麼結果的訓練形式，又被稱為「監督式學習」（supervisedlearning）。

AI領域中的另一位領袖人物──同時也是Facebook人工智慧實驗室首席科學家──YannLeCun便在這樣的基礎上建立了一個可以識別手寫數字的系統，並最終得以付諸商業用途。

Hinton和他的團隊更提出以更多層的神經網路──而後重新包裝為「深度學習」（deeplearning）──解決那些簡單網路無法解決的複雜問題。

神經網路的未來看似一片光明，然而故事往往不會這麼順利──Hinton的研究再次遇到了瓶頸。

為了讓神經網路充分發揮它的潛能，除了大量的訓練資料，硬體設備也必須能夠應付繁複的運算，然而這兩點在當時的時空背景下無異於癡人說夢。

除此之外，反向傳播法也有根本上的問題：由深（後）至淺（前）的更新方向，使得深層節點的權重調整幅度最大，而後逐步遞減；隨著神經網路的深度（層數）增加，最淺層節點的權重可能幾乎不會有變動──即使它們才是直接與原始數據相連的節點，掌握最多簡單但最基本的資料特徵！這使得採用反向傳播法訓練的深度網路很快便會遇到學習停滯的問題。

同領域的其他學者沒多久便將注意力轉向神經網路以外的其他替代方案。

Hinton瞬間由雲端跌落，每次參加學術會議的時候總是坐在最角落。

因為他根本就不被重視，甚至連自己都開始懷疑自己。

「有很多次我都覺得我不會繼續這項工作了。

」 然而他的方向並沒有錯，只是走得太快，世界還跟不上他的腳步。

●終於等到這個世界趕上 寒冬裡蟄伏的Hinton，終於又一次等到黎明的到來。

2006年，Hilton與他的學生一改原先隨機分配各節點的權重再逐一微調的做法，而是讓各個子網路先接受預先訓練（pre-training）再集中學習的方法，改善了學習停滯的問題，這樣的架構被稱為「深度信念網路」（DeepBeliefNetwork）。

深度信念網路最先在手寫數字的辨識上初試啼聲，最後擴展到語音識別，並且在2009年的一場語音識別競賽上完勝當時其他──無論學術或商用──語音識別系統。

當年參與計畫的學生最終為IBM、微軟或Google延攬，其中Google最快將其商品化，2012年開始搭載在自家作業系統的智慧型手機中。

大約在同個時間，開始有人討論以電腦中原先專用於繪圖運算的GPU（GraphicsProcessingUnit，圖像處理器）取代傳統運算核心CPU（CentralProcessingUnit，中央處理器），以滿足深度網路的運算需求。

而網際網路的普及與進步，大量數據可以在短時間內被收集、整理，成為深度網路的訓練資料。

種種人為與巧合，人工智慧再次迎來嶄新的局面；而且這一次，是由神經網路獨領風騷。

2012年，Hinton與學生AlexKrizhevsky及其他團隊成員帶著訓練出來的模型AlexNet，參加了圖像識AI的年度盛事──ImageNetILSVRC挑戰賽，以驚人的優勢獲勝（錯誤率比第二名低了足足10%）。

也是從這個時候開始，諸如神經網絡或機器學習之類的詞彙開始頻繁地出現在普羅大眾的生活中。

2013年，Google收購了多倫多大學的一家初創公司DNNResearch，而實際上這家公司只有三個成員：Hinton 與他剛畢業的兩個學生──Krizhevsky與IlyaSutskever；說明了Google不惜千金，只為了Hinton與他的團隊。

●長江後浪推前浪，浪還是自己推的 儘管已經成為了深度學習的領袖人物，Hinton的腳步卻沒有停歇，保持著他一如往常的風格──低調卻不時有驚人之舉。

2017年10月，Hinton在機器學習領域的年度盛會「神經訊息處理系統大會」（ConferenceonNeuralInformationProcessingSystems）上，發表了題為《膠囊之間的動態路由》（DynamicRoutingBetweenCapsules）的論文，提出了全新的神經網路架構——膠囊網路（CapsNet），並宣布深度網路的時代已經過去了，一舉推翻自己過去幾十年的研究。

與原先的深度網路相比，膠囊網路擁有更快、更精準、使用更少數據量就可以完成訓練的優勢，儘管仍處在嬰兒期，但在未來，Hinton相信它還有巨大的發展潛力。

也許，這位深度學習教父將再次改寫深度學習的發展歷程。

2018年，無疑是Hinton投入神經網路研究以來備感欣慰的一年。

他與另外兩位好友──同時也都是人工智慧領域中領袖級的人物──Yoshua Bengio 和Yann LeCun，因為在深度神經網絡概念和工程上的突破，一同獲得了杜林獎（TuringAward）的殊榮。

這個堪稱電腦科學領域諾貝爾獎的獎項，無疑是對Hinton的認可與榮耀。

●我只是堅信別人都錯了 綜觀Hinton的一生，從投入神經網路研究開始到最終獲得杜林獎，整整超過四十年的漫長歲月，竟有大半時間是在飽受他人冷落、研究遲遲無法取得成果的困境中度過；即使如此，他依然固執己見，堅信是其他人錯了，勇於與這個世界為敵，直到這個世界也不得低下頭，向Hinton致敬。

  參考資料 Bloomberg.(2018). ThisCanadianGeniusCreatedModernAI [Video]. GeoffreyE.Hinton:BiographicalSketch.(2020). Hernandez,D.(2014). MeettheManGoogleHiredtoMakeAIaReality. PreserveKnowledge.(2017). MeetGeoffreyHinton,UofT’sGodfatherofDeep Learning [Video]. Shute,J.(2017). The‘GodfatherofAI’onmakingmachinescleverandwhetherrobotsreallywilllearntokillusall?. TensorFlow.(2019). AFiresideChatwithTuringAwardWinnerGeoffreyHinton, PioneerofDeepLearning(GoogleI/O’19) [Video]. TheAgendawithStevePaikin.(2016). GeoffreyHinton:TheGodfatherofDeep Learning [Video]. 文摘菌（民107）。

AI教父GeoffHinton和深度學習的40年。

(本文為教育部「人工智慧技術及應用人才培育計畫」成果內容) views ←楊立昆YannLeCun（1960-） 【物理史中的八月】1969年8月9日:發現π介子開啟粒子世界新大門的鮑爾（CecilFrankPowell）辭世→ 你可能還想看 機器學習與人工神經網路(二)：深度學習(DeepLearning) 2016年12月13日CASEPRESS 在〈機器學習與人工神經網路(二)：深度學習(DeepLearning)〉中留言功能已關閉 向量式導航和人工網格細胞 2018年07月30日intern 在〈向量式導航和人工網格細胞〉中留言功能已關閉 從神經元開始的人工智慧 2018年04月21日intern 在〈從神經元開始的人工智慧〉中留言功能已關閉 好書推薦 《心靈黑洞：意識的奧祕》 《物理奇才奇事》 諾貝爾物理獎得主楊振寧推薦 《破解動物忍術》