“深度學習之父”Geoffrey Hinton：深度學習可完全複製人類的智能

「深度學習之父」Geoffrey Hinton：深度學習可完全複製人類的智能 ... 作為谷歌研究員與向量人工智慧研究所聯合創始人的辛頓，斷斷續續寫下了自己的想法，並 ... 首頁 科學 正文 「深度學習之父」GeoffreyHinton：深度學習可完全複製人類的智能 2021年04月30日 20:12:05 1419views 摘要 作為谷歌研究員與向量人工智慧研究所聯合創始人的辛頓，斷斷續續寫下了自己的想法，並於2月末在推特上宣布，他在arXiv預印本伺服器上發表了一篇44頁的論文。

去年11月，「深度學習之父」、計算機科學家、認知心理學家傑弗里・辛頓（GeoffreyHinton）進行了一次預測。

經過了半個世紀的嘗試之後——其中一些取得了巨大的成功，辛頓對大腦的工作原理以及將其複製到電腦中的方法有了更加深刻的認識。

新冠大流行期間，辛頓一直在多倫多的家庭辦公室中隔離。

他說道，「這是我目前能夠想到的最好的想法。

」如果這個想法能夠實現，那麼它可能會給下一代的人工神經網路帶來啟發。

這種數學計算系統的設計靈感來自於大腦的神經元和突觸，而它也是當今人工智慧的核心技術。

正如辛頓所說的那樣，他的「根本動機」源自好奇心。

然而，實際動機——最理想的結果，卻是設計出更加可靠、更加值得信賴的人工智慧系統。

作為谷歌研究員與向量人工智慧研究所聯合創始人的辛頓，斷斷續續寫下了自己的想法，並於2月末在推特上宣布，他在arXiv預印本伺服器上發表了一篇44頁的論文。

辛頓在免責聲明中寫道：「這篇論文所介紹的並不是實際工作中的系統，而是一種構想中的系統。

」他稱之為「GLOM」，「GLOM」源於單詞「聚集」以及短語「聚在一起」。

辛頓認為，GLOM可以在機器中還原人類的感知系統，它為在神經網路中處理和呈現視覺信息提供了新的途徑。

從技術層面來說，該系統是一個相似向量的集合體。

向量是神經網路的基礎，一個向量就是一組包含著信息的數字陣列。

最簡單的例子就是一個點的xyz坐標，三個數字就可以表示出一個點在三維空間中的位置。

六維向量包含另外三個信息，也許它們代表著這個點的顏色的紅綠藍值。

在神經網路中，成千上萬個維度中的向量代表著整個圖像或文本。

辛頓認為，在處理更高維度的問題時，我們的大腦活動會涉及到「與神經活動有關的大型向量」。

通過類比，辛頓將相似向量的聚集比作了回聲室效應——一種將相似觀點放大的效應。

辛頓表示，「對於政治和社會來說，回聲室效應完全是一場災難。

但對於神經網路而言，它卻是一個好東西。

」他將映射了回聲室效應概念的神經網路稱為「相同向量的島嶼」，或者更加通俗易懂的「共識島嶼」——當向量在本質信息上達成一致時，它們就會指向相同的方向。

從本質上看，GLOM同時還在追求實現模擬直覺這一難以達到的目標。

辛頓認為，直覺對於感知活動至關重要。

他將直覺定義為人類可以輕易進行類比的能力。

從小到大，我們通過類比推理以及將相似的物體、觀點或概念映射到另一個對象的方法來感知世界，或者就像辛頓所說的那樣，從一個大型向量到另一個大型向量。

他還表示：「大型向量的相似性解釋了神經網路進行直覺性類比推理的方式。

」從更廣泛的層面來看，直覺捕捉到了人腦產生想法的難以形容的方式。

辛頓的工作遵循著直覺和科學，一切都是在直覺和類比方法的指導下進行的。

他的關於大腦運作方式的理論全都與直覺有關。

辛頓表示，「我一直都堅定不移。

」辛頓希望，在人工智慧能夠真正靈活解決問題之前——可以像人類那樣思考，同時還能夠理解從未見到過的事物，從以前的經驗中尋找相似性，琢磨想法，並且進行概括、推斷以及理解——GLOM可以成為諸多技術突破之一。

辛頓說道，「如果神經網路更像人類，那麼至少它們就可以像我們一樣犯錯誤，因此我們就能夠了解到底是什麼讓它們感到困惑。

」然而，GLOM暫時只是一種想法。

辛頓說道，「它是一個霧件。

」他承認GLOM這個縮寫與「傑弗里最後的原創模型」完美契合。

至少，這是辛頓最新的研究成果。

創造性思維辛頓對人工神經網路（誕生於二十世紀中期）的熱情可以追溯到上個世紀七十年代早期。

到1986年，他已經在該領域取得了極大的進展：儘管最初的網路僅由幾層負責輸入與輸出的神經元層構成，但辛頓和同事們還是提出了更高級的多層網路技術。

然而，計算能力和數據容量趕上並利用好深度架構卻花費了26年的時間。

2012年，辛頓因在深度學習領域取得突破而名利雙收，他與兩名學生一起開發了一種多層神經網路，該神經網路可被訓練識別大型圖像數據集中的物體。

神經網路學會了去反覆提升分類以及識別各種物體的方法——例如，蟎蟲、蘑菇、小型摩托車以及馬達加斯加貓。

該系統表現出了出乎意料的精準度。

深度學習引發了最新的人工智慧革命，並改變了整個計算機視覺領域。

辛頓認為，深度學習幾乎可以完全複製人類的智能。

儘管該領域取得了較快的發展，但重大挑戰依然存在。

在面對陌生的數據集或環境時，神經網路會顯得相對脆弱和不夠靈活。

自動駕駛汽車和文本語言生成器讓人印象深刻，但它們也會出錯。

人工智慧視覺系統也會犯糊塗：系統可以從側方視角識別出咖啡杯，但如果沒有經過訓練，就無法從俯視視角認出它；再加上一些像素的變換，熊貓可能會被錯認成鴕鳥，甚至是校車。

GLOM解決了視覺感知系統領域的兩個重大難題：從物體以及它們的自然部分角度認識整個場景，以及從新的視角認識事物（GLOM側重於視覺，但辛頓希望它還能夠應用於語言領域）。

拿辛頓的臉作為例子，疲憊但充滿活力的雙眼、嘴、耳朵以及顯眼的鼻子，都籠罩在較為乾淨的灰色中。

從顯眼的鼻子可以看出，即使第一次見到辛頓的照片，也可以輕易地認出他。

在辛頓看來，這兩個因素——部分與整體的關係以及視角——對人類的視覺系統至關重要。

他說：「如果GLOM能夠運行的話，那麼它將比現在的神經網路更像人類那樣去感知事物。

」然而，對於計算機來說，將部分融入整體是一個難題，因為有時候部分的概念是模稜兩可的。

一個圓圈可能是一隻眼睛、一個甜甜圈或者一個車輪。

正如辛頓所解釋的那樣，第一代人工智慧視覺系統主要通過部分與整體的幾何關係——部分之間與部分與整體之間的空間方向——來識別物體。

而第二代系統則依靠深度學習——使用神經網路訓練大量的數據，辛頓在GLOM中將兩個方法各自的優勢結合在了一起。

Robust.AI創始人兼首席執行官、對強烈依賴深度學習行為的知名批評家加里・馬庫斯表示，「這種謙遜讓我喜歡。

」馬庫斯對辛頓挑戰自我從而再次成名的意願表示稱讚，並承認這種方法並不太奏效。

他說道，「這是一個勇敢的想法。

而『我正在嘗試使用創造性思維』的說法是一次非常好的糾正行為。

」GLOM的架構辛頓在構建GLOM時嘗試模擬一些人類在感知世界時所使用的心理捷徑，例如直覺策略或者啟發法。

尼克・弗羅斯特是一名多倫多語言初創公司的計算機科學家，同時也與辛頓在谷歌大腦共事。

弗羅斯特表示，「GLOM以及傑弗里的大部分工作都在研究人類所擁有的啟發法，並構建可以學習啟發法的神經網路，之後再證明神經網路更加適合視覺分析。

」通過視覺感知，一種策略是分析一個物體的各個部分——例如不同的面部特徵，進而了解整體。

如果你看到一個特定的鼻子，那麼你也許會認出它出自辛頓的臉，這是一個部分到整體的層次結構。

為了構建一個更好的視覺系統，辛頓表示，「我有很強的直覺，我們需要用到部分到整體的層次結構。

」人類的大腦通過構建「解析樹」來理解部分到整體的構成。

解析樹是一種分支圖，表明了整體、部分以及次級部分之間的層次關係。

臉位於解析樹的最頂端，而眼睛、鼻子、耳朵以及嘴則位於下面的分支中。

辛頓利用GLOM實現的主要目標之一是在神經網路中再現解析樹，這一特徵將使GLOM與以往的神經網路區別開來。

從技術層面來看，構建該系統的難度較大。

弗羅斯特表示，「難以實現的原因在於，每個人都會以獨特的解析樹來解析每個圖像，而我們希望神經網路也做到這一點。

對於系統看到的每一個新圖像，我們很難去使用神經網路——新結構——解析樹這樣的靜態結構。

」辛頓進行了各種各樣的嘗試，GLOM是他在2017年所進行的嘗試的修正版本，同時還結合了該領域內其它的相關先進技術。

構想GLOM架構的方法一般是這樣的：感興趣的圖片（比方說，辛頓面部的照片）會被網格分割開來。

網格上的區域代表著圖像上的「位置」——這個位置可能包括了虹膜，而另一個位置可能包含了鼻尖。

網路中的每個位置大約有五層，或者說五級。

系統會逐層進行預測，並利用向量代表內容或者信息。

在靠近低層的地方，向量代表著預測的鼻尖的位置：「我是鼻子的一部分！」在接下來的層級中，通過構建更加合乎邏輯的視覺表現，向量可能會預測：「我是側臉圖像中的一部分！」然而，接下來問題出現了：同一層級中相鄰的向量會認同嗎？當達成一致時，向量會指向同一個方向：「是的，我們都屬於同一個鼻子。

」或者是指向之後的解析樹。

「是的，我們都屬於同一張臉。

」在尋求物體本質共識的過程中——有關物體最終的精確定義，GLOM的向量會反覆地、逐一地點並逐層地與旁邊相鄰的向量，以及上層或下層的已經做出預測的向量進行平均分配。

然而，辛頓表示，網路並不會與附近的向量「隨意均分」。

這是有選擇性的平均分配，相鄰的預測顯示出了相似性。

他還說道，「它在美國非常有名，通常被稱為回聲室效應。

你只會接受和你達成一致的人的觀點。

這樣，一個回聲室就形成了，裡面所有人都持有著相同的觀點。

事實上，GLOM積極地使用了這種現象。

」辛頓系統中類似的現象就是那些「共識島嶼」。

弗羅斯特表示，「設想一群人在一個房間中大聲討論著有些許不同的相似觀點。

」或者把他們想成大致指向同一個方向的向量。

「一段時間之後，所有的想法都會匯聚成為一個想法。

他們會覺得這個想法的影響力越來越強大，因為該想法已經得到了身邊人的證實。

」這就是GLOM向量加強和放大針對一個圖像的協同預測的方法。

GLOM利用這些共識向量島嶼來達成神經網路中解析樹的工作方式，儘管最近一些神經網路使用向量間的共識來進行激活，但GLOM使用共識的目的卻是為了呈現結果——在網路中構建出事物的表現形式。

例如，當多個向量都認同它們是鼻子的一部分時，小規模的認同向量會共同表示網路中面部解析樹的鼻子。

另一個較小的認同向量集合可能代表著解析樹中的嘴，而位於解析樹頂端的大型集合則可能代表著一個新的結果——整體圖像是辛頓的臉。

辛頓解釋說，「解析樹在這裡的呈現方式是：物體層級表現為大型島嶼，而物體的各個部分是體積較小的島嶼，次級部分則為更小的島嶼，如此向下。

」辛頓有關GLOM論文中的圖表，各個層級中的相同向量（顏色相同的箭頭）的島嶼代表著一個解析樹（來源：辛頓）蒙特利爾大學計算機科學家約書亞・本吉奧是辛頓的老友和同事，本吉奧表示，如果GLOM能夠解決在神經網路中表現解析樹的工程學挑戰，那麼這將成為一個偉大的成就，它對於讓神經網路正常工作至關重要。

他還說道，「傑弗里在他的生涯中做出過許多次意義非凡的預測，其中很多都得到了驗證。

因此，我會對這些預測保持關注，尤其是在傑弗里胸有成竹的時候，就像他現在對GLOM的感覺。

」辛頓堅定的態度不僅僅來自於對回聲室效應的類比，同時還來自於對數學以及生物學的類比，這些都給GLOM新的工程學設計決策過程帶來了啟發和證明。

麥克馬斯特大學計算認知神經學家蘇・貝克是辛頓的學生，貝克說道，「傑弗里是一個極不尋常的思想家，他能夠利用複雜的數學概念，並將生物學理論融入其中，從而發展自己的理論。

僅僅局限於數學理論或者神經生物學理論研究的研究人員，很難解開人機學習與思考方式原理這一極具挑戰性的難題。

」將哲學融入工程學到目前為止，特別是在那些世界著名的回聲室中，辛頓的新觀點被廣泛接受。

他說道，「在推特上，我得到了很多贊。

」YouTube上的教程還聲稱保留「MeGLOMania」一次的所有權。

辛頓是第一個承認目前的GLOM略帶有一點哲學沉思的人，在轉到實驗心理學專業之前，他讀過一年哲學本科課程。

其表示：「如果一個想法在哲學上聽起來不錯，那麼它確實是不錯。

聽起來像是垃圾的哲學觀點，怎麼會變為現實呢？以哲學觀點來衡量，它是無法通過這一標準的。

」他還表示，相比之下，「很多科學上的東西聽起來完全就是垃圾」，但它們卻表現得很好——例如，神經網路。

GLOM的設計聽起來在哲學上很合理。

但它會成功嗎？克里斯・威廉姆斯是一名來自愛丁堡大學信息科學學院的機器學習教授，威廉姆斯希望GLOM會帶來一系列偉大的創新。

然而，他表示，「能夠將人工智慧與哲學區分開來的東西是，我們可以使用計算機來驗證這些理論。

」通過這些實驗，找出想法中的缺陷或是將它們修復是不可能的。

他還說：「儘管我相信這一研究很有希望，但在目前看來，我並不認為我們有足夠多的證據來評估一個想法的真實重要性。

」在多倫多的谷歌研究機構，辛頓一些同事針對GLOM的實驗正處於早期階段，使用了新型神經網路架構的軟體工程師勞拉・卡普，正在利用計算機模擬技術來測試GLOM是否可以在理解物體部分與整體的概念時，產生辛頓所說的共識島嶼，哪怕是在輸入的部分充滿歧義的情況下。

在實驗中，這些部分是10個大小不同的橢圓形，它們既可以形成一張臉又能夠形成一隻羊。

圖|GLOM測試模型中輸入的10個既能形成羊又能形成臉的橢圓形（來源：勞拉・卡普）卡普說道，隨機輸入一個或另一個橢圓，模型就可以做出預測，「對橢圓是否屬於人臉或羊、是否是羊腿或者羊頭進行處理。

」即使遇到任何干擾，模型也可以進行自我修正。

下一步就是要建立一個基準，用於指示標準的深度學習神經網路是否會被這種任務所迷惑。

到目前為止，GLOM受到了嚴格的監督——卡普生成了一些數據並將它們打上標記，從而促使模型在長時間內進行修正以達到正確的預測結果。

辛頓表示，未經監督的版本叫做GLUM——「它就是一個笑話。

」在這種初始狀態下，下任何重要結論都為時尚早。

卡普正在等待更多數據的出現。

不過，辛頓已經給業界留下了深刻的印象。

他說：「GLOM的簡便版本可以觀察10個橢圓，並且還可以根據橢圓之間的空間關係識別出一張臉和一隻羊。

這是一個具有迷惑性的問題，因為從單個橢圓中看不出它屬於哪個物體，也看不出它屬於物體的哪個部分。

」總的來說，辛頓對反饋結果感到高興。

他說道，「我只是想把它上傳到社區里，這樣每個感興趣的人都可以進行嘗試，或者將這些想法進行一些次級組合。

之後，哲學才會轉化為科學。

」 #深度 #學習 #之父 #Geoffrey #Hinton #完全 #複製 #人類 #智能 所屬分類： 科學 版權聲明：本文源自網路，於2021年04月30日，由天天要聞整理髮表，共5742字。

轉載請註明：“深度學習之父”GeoffreyHinton：深度學習可完全複製人類的智能|天天要聞 相關文章推薦~ 深度學習之父Hinton：下一代神經網路 世界欠他一個圖靈獎！LSTM之父的深度學習「奇蹟之年」 神經網路/深度學習之一 動手學深度學習：優化與深度學習的關係 從「幾何深度學習」看深度學習江湖的統一 【深度學習】一文看盡深度學習各領域最新突破 關於學習目標和學習深度 深度學習時代的數據驅動建模之探討 深度學習里的「學習」是怎麼做到的？ 我國自主深度學習之平台比肩國際主流 深度學習概述：NLPvsCNN 深度學習紅利將盡，AI是否又面臨「死亡之谷」？ 頻道熱榜~ 1 不明金屬物出現在隼鳥2號帶回的小行星樣本中，具體來源暫未確定 爆 2 這一次是我們中國科學家！利用最新方法，測出了銀河系的總質量 新 延伸閱讀 奇妙腦洞，人類死後的未知空間，竟是處和我們現實生活類似的世界 1010views 04/18 難以置信！人類發現已探測規模最大的宇宙爆炸 1548views 04/18 旅行者號發現巨大火牆，這堵牆究竟是什麼？科學家都覺得神奇！ 1241views 04/18 兩個月研發出新冠疫苗，Moderna是怎麼做到的？ 1836views 04/18 神秘“7號冰”到底有多強大？專家：若這種冰出現，可能毀滅地球 1586views 04/18 科學家發現黑暗“冥界”奇觀，在裡面待一年等於地球的248年 1901views 04/18 我國最先突破機械外骨骼的動力瓶頸，軍事意義令人膽寒 1461views 04/18 60億光年外出現神秘信號,中國科學家破譯信號,結論顛覆人們認知 1116views 04/18 我們的祖先智人在5萬年前欠下的風流債，卻讓現代人埋單。

1093views 04/18 羅布泊現大量乾屍，專家鑒定有驚人發現，難道山海經的記載是真的 1931views 04/18 相對小留學生這位女學霸更應接回，訪問學者在美髮表《自然》論文 1414views 04/18 聯盟號宇宙飛船發射成功，總設計師確診新冠，國際空間站或有危機 1086views 04/18 人類文明真的在輪迴？如果不是，那麼這些證據又該怎麼解釋？ 1709views 04/18 羅布泊現大量“乾屍“,專家鑒定有驚人發現,難道山海經記載是真的? 1237views 04/18 愛因斯坦死前銷毀手稿之謎研究成果嚇死美國 1067views 04/18 中國軍力如此強大，離不開這5位科學家，美國都忌憚不已 1688views 04/18 分類目錄 美女 娛樂 情感 體育 歷史 遊戲 英超 NBA 養生 星座 減肥 國際 科技 搞笑 時尚 汽車 美食 育兒 熱門 軍事 明星 動漫 寵物 電影 電視劇 綜藝 八卦 數碼 健康 科學 心理 故事 佛學 美文 教育 家居 資訊 財經 風水 每日要聞 陸劇吧