想法比世界領先20 年的AI 深度學習之父Geoffrey Hinton

在20 年前已經提出以反向傳播算法來訓練人工智能的AI 教父Geoffrey Hinton ，是深度學習的創始者。

隨著電腦運行速度及互聯網的出現，他的理論近年終於得到 ... Skiptocontent 新聞  2018-08-272019-02-18 TechApple.com編輯部 近幾年愈來愈多的技術通來人工智能的深度學習來實現，包括語音分析、圖像識別等等。

但原來在剛開始發展電腦的時候，深度學習已經被提出，但由於當時的電腦運算能力不足，因此效率不彰，一直處於學術界的邊緣領域。

在20年前已經提出以反向傳播算法來訓練人工智能的AI教父GeoffreyHinton，是深度學習的創始者。

隨著電腦運行速度及互聯網的出現，他的理論近年終於得到實現，並將「深度學習」從邊緣課題變成了谷歌等互聯網巨頭仰賴的核心技術，為人工智慧的發展奠定了基礎。

從人腦開始嘗試了解人工智慧學習以及計算的過程 「人腦的工作原理就像全息圖一樣，創建一個3D全息圖，需要大量的記錄入射光被物體多次反射的結果，然後將這些信息存儲進一個龐大的數據庫中。

」 英國出生的他，最初把 Hinton 引上人工智慧這條路的，是他對人腦的著迷和好奇。

Hinton 在英國劍橋大學時修讀的不是電腦，而是心理學。

他想了解人腦的運作方式，但在就讀的過程中，他發現科學家並不能解釋人類大腦中數十億的神經之間，到底是如何通過神經突觸之交的交流進行學習以及計算的。

「我的想法是，如果你想了解大腦的運作方法，你就應該自己建造一個。

」 於是，他決定透過建造計算機來模擬大腦。

在1978年在愛丁堡大學獲得人工智慧博士學位後，他進入人工智慧領域，開始了他近 40 年的研究生涯。

以神經網絡模擬大腦幫助人工智慧「深度學習」 早在1960年，神經網絡概念已經誕生，美國認知心理學家 FrankRosenblatt 基於神經元的理論發明瞭一種模擬神經元的方法，這些神經元可以獲取傳入數據並進行學習，所以神經網絡可以隨著時間的推移做出決定。

理論上，電腦可以在人輸入圖像之後，透過思考和學習，最後將圖中的影像進行分類。

但由於當時的人工智慧理論只有兩層神經元，一個輸入層和一個輸出層。

如果在輸入層和輸出層之間加上更多的網絡，理論上可以解決大量不同的問題，但是沒人知道如何訓練它們，所以這些神經網絡在應用領域毫無作用。

加上感知器的處理能力有限，加上當時設備有限，許多人放棄了對於人工智能的研發。

在整整三十年間，學界都認為把人工智能領域導向神經網絡方向是自尋死路，沒有人相信這個理論能夠成功。

他的論文曾被深度學習研討會拒收，主流人工智慧圈根本不把神經網絡的研究放在眼裡。

但Hinton沒有放棄他的想法。

不想自己的研究被用到軍事上搬到加拿大繼續研究 在他開始研究的時候，為了找到一個支持他研究神經網絡的棲身之處，Hinton 在美國輾轉多地。

但是，當時大部分的學術研究都是受到國防部支持。

「我不希望我的技術被用於一些我認為不好的地方。

」 抱著這個念頭，他拒絕了許多的學術研究部， 最終在1987年的時候，落腳在加拿大的多倫多大學。

通過「反向傳播算法」訓練神經網路卻受制於當年設備不足 在80年代早期，他就參與了一個雄心勃勃的關於使用計算機的軟硬件來模擬大腦的研究，這形成了早期的 AI 技術研究分支，就是現在被稱為「深度學習」。

神經網路本質就是在多重層級上運作的軟體，軟體內部連結的方式就是參考處理視覺、語言等複雜資訊的大腦皮質神經排列。

在1986年，學者包括Hinton及他兩名同事提出「反向傳播算法」(Backpropagation)訓練神經網路，對網絡中所有權重計算損失函數的梯度，這個梯度會反饋給最優化方法，用來更新權值以最小化損失函數。

這篇論文被定義為現今所有深度學習技術的基礎。

換句話來說，AI會在計算出最後的結果之後，跟最初的數據作為比較，分析出在每個步驟之間的誤差值，從而進行改善，提升準確度。

然而提出反向傳播算法之後，雖然點燃了研究者對該領域的興趣，但Hinton並沒有因此而迎來事業的蓬勃發展。

當時電腦還沒有強到能處理神經網路所需的大量資料。

人工智慧圈子亦不看好他們，轉而研究類似大腦的行為表現，而非模仿大腦運作的原理，令神經網絡的風頭被更加高效的機器學習工具蓋過。

Hinton是當年少數仍在研究神經網絡方向的人工智慧專家。

這個情況整整持續了20年，直到世界突然追上了他的步伐。

電腦運行速度提升及互聯網出現想法終於得以實行 在2000至2010間，計算機的運行速度有了巨大的提高，他們獲得了所需的計算技術，並實現了早期的許多想法。

在2004年的時候，加拿大高級研究所 (CanadianInstituteforAdvancedResearch，CIFAR)提供了些許資金，再加上LeCun和Bengio的支持，Hinton建立了神經計算與響應式感知（NeuralComputationandAdaptivePerception）專案。

這是一個由電腦科學家、生物學家、電子工程學家、神經學家、物理學家及心理學家組成的團體。

在團隊成立後，他們製作了更強大的深度學習演算法，能夠處理更多的數據。

同時，隨著超快速芯片的到來，以及互聯網上產生的大量數據，使 Hinton 的想法可以實行出來。

2012年，和他的學生帶著參加了那一年的挑戰，以16％錯誤率取勝，錯誤率比第二名低了整整10%。

從此，「深度學習」的時代降臨。

加盟Google繼續推動神經網絡與深度學習的發展 雖然 Hinton的理論大獲成功，但他的步伐並沒有因此而停步。

在過去20至30年間，他仍然一直在推動神經網絡與深度學習的發展。

在2013年3月的是時候，Hinton與其他多倫多大學的研究人員加盟了Google，以神經網絡來幫助識別手機上的語音命令和網絡上標記的圖像，並借力谷歌的優勢資源把深度學習研究做進一步的推進。

在人工智能領域最頂尖的研究人員當中，Hinton 的論文引用率最高。

目前，他的學生和博士後領導着蘋果、Facebook以及OpenAI的人工智能實驗室，而Hinton亦是谷歌大腦（GoogleBrain）人工智能團隊的首席科學家。

人工智能在最近十年里取得的幾乎每一個成就，包括語音識別、圖像識別，以及博弈，在某種程度上都是基於Hinton多年來的堅持。

AI深度學習之父這個稱呼他絕對當之無愧。

資料來源：Wiki、Bloomberg ←Previous麻省理工學院研發ReMix系統：追蹤體內傳感器的無線信號以後或有助癌症治療 F5Networks研究發現超過四分一香港人對Apps的安全和方便度難以取捨Next→ TechApple.com編輯部 堅持製作專業科技內容，全員擁有多種不同技術知識的特異科技媒體團隊。

聯絡電郵：[email protected] ShareThisPost: 更多推薦文章 RetroduckQ：復古風格的無線充電座及手機支架 2019-01-042019-01-07 TechApple.com編輯部 Dragonchain宣佈全球發售代幣結果：1,300萬美金、預計11月底前發放 2017-11-032018-12-10 美心 2018RoboMaster機甲大師賽展示機器人魅力 2018-07-302018-07-30 TechApple.com編輯部 發佈回覆取消回覆你的電郵地址並不會被公開。

必要欄位標記為*評論名稱* 電子郵件* 個人網站 在瀏覽器中儲存顯示名稱、電子郵件地址及個人網站網址，以供下次發佈留言時使用。

限制時效已用盡。

請重新載入驗證碼。

 +  4  =  9 活動合作 合作推廣 廣告 近期新聞 新聞 業界消息  譚仔國際推出NFT項目「SouperHero」 2022-05-232022-05-23 TechApple.com編輯部 譚仔國際有限公司（「譚仔國際」或「公司」 新聞  天梭錶T-TouchConnectSolar：傳統工藝美結合太陽能和智能科技 2022-05-222022-05-22 TechApple.com編輯部 T-TouchConnectSola Thiswebsiteusescookiestoimproveyourexperience.We'llassumeyou'reokwiththis,butyoucanopt-outifyouwish.AcceptReadMorePrivacy&CookiesPolicy Close PrivacyOverview Thiswebsiteusescookiestoimproveyourexperiencewhileyounavigatethroughthewebsite.Outofthese,thecookiesthatarecategorizedasnecessaryarestoredonyourbrowserastheyareessentialfortheworkingofbasicfunctionalitiesofthewebsite.Wealsousethird-partycookiesthathelpusanalyzeandunderstandhowyouusethiswebsite.Thesecookieswillbestoredinyourbrowseronlywithyourconsent.Youalsohavetheoptiontoopt-outofthesecookies.Butoptingoutofsomeofthesecookiesmayaffectyourbrowsingexperience. Necessary Necessary AlwaysEnabled Necessarycookiesareabsolutelyessentialforthewebsitetofunctionproperly.Thiscategoryonlyincludescookiesthatensuresbasicfunctionalitiesandsecurityfeaturesofthewebsite.Thesecookiesdonotstoreanypersonalinformation. Non-necessary Non-necessary Anycookiesthatmaynotbeparticularlynecessaryforthewebsitetofunctionandisusedspecificallytocollectuserpersonaldataviaanalytics,ads,otherembeddedcontentsaretermedasnon-necessarycookies.Itismandatorytoprocureuserconsentpriortorunningthesecookiesonyourwebsite. SAVE&ACCEPT