獨家專訪“CNN之父”Yann LeCun：從未有國家像中國這樣

近日，談及中國粉絲對於自己的喜愛，楊立昆（Yann LeCun）在 ... “雙劍” 很快“合璧”，博士畢業的楊立昆受辛頓之邀前往加拿大多倫多，共同研究神經網路 ... MdEditor 獨家專訪“CNN之父”YannLeCun：從未有國家像中國這樣，讓深度學習成為國家級優先專案 語言:CN/TW/HK 時間 2021-08-0917:56:04 DeepTech深科技 主題: 深度學習 CNN “上海恐怕是世界上唯一會有人在街頭攔住我並索要我的簽名的城市，在美國只有電影明星才有這種待遇，科學家是沒那麼多人追捧的。

這種熱情令人難以置信。

” 近日，談及中國粉絲對於自己的喜愛，楊立昆（YannLeCun）在接受DeepTech採訪時表示。

圖|楊立昆接受DeepTech專訪（來源：DeepTech） 最早在2009年，楊立昆曾應邀前往北京大學進行演講。

隨後十多年間，他曾多次造訪北京、上海等城市，熱情的學生紛紛與他合影並索要簽名。

近年來，中國學者開始在人工智慧（AI）領域嶄露頭角，各大計算機頂會上都能見到國內作者發表的高質量學術論文。

楊立昆也注意到了這一點，並給予高度評價。

他認為世界上還沒有一個地方像中國那樣，讓機器深度學習成為國家級優先專案，併成為公眾矚目的焦點。

更重要的是，中國年輕人對科學和工程的濃厚興趣，讓他印象深刻。

自幼喜歡科技，長大後與辛頓“雙劍合璧” 在計算機從業者群體中，楊立昆這個名字幾乎人人皆知。

作為2018年的圖靈獎得主之一，他與傑弗裡・辛頓（GeoffreyHinton）、約書亞・本吉奧（YoshuaBengio）一起被譽為“深度學習三巨頭”。

當今，許多AI應用都離不開“三巨頭”構建的深度學習理論基礎和指導框架。

而楊立昆的主要貢獻是大幅完善了卷積神經網路（CNN），並將其用於計算機視覺領域，極大地拓寬了應用範圍。

近年來，神經網路紅極一時。

但在20多年前，計算機學界和產業界都對它完全提不起興趣，甚至是嗤之以鼻。

在長達快15年的神經網路“寒冬”裡，學術會議多次拒收神經網路論文，也沒人願意公開支援、甚至不願公開談論有關神經網路的話題，這讓卷積網路一度成為大家口中的笑話。

至於具體原因，楊立昆自己也說不清楚，他說：“這是一個謎，我認為科學史學家和社會學家有責任解開這個謎團。

” 圖|“深度學習三巨頭”：楊立昆，辛頓和本吉奧（來源：Facebook、Google、BotlerAI） 從自己做研究、到成為“技術佈道家”，楊立昆雖是中年成名，但其根源可追溯到童年。

1960年，楊立昆出生在法國巴黎附近的郊區，父親是一名航空工程師，酷愛DIY遙控汽車和遙控飛機等電子產品，同時他父母也都是科幻小說迷。

這讓他在童年時就對科技、太空和計算機充滿了好奇和熱情。

18歲，他進入巴黎高等電子與電工技術工程師學院（ESIEE）。

大學五年，沒有課的時候他就泡在圖書館裡，從人類的語言機制，到大腦的工作原理，再到系統理論（控制理論）、自組織、自動化等一系列晦澀深奧的內容，他都悉數吸收。

當時，“人工智慧”“機器學習”和“神經網路”這些概念都已出現。

他認定，如果想讓計算機變得更聰明，模擬人類大腦運作方式的神經網路將是可行的方向。

1982年前後，大四的楊立昆構想出一種可在網路中實現從後向前傳遞訊號的演算法，並將其命名為HLM演算法（多層線性模型），今天廣泛使用的“梯度反向傳播演算法”就是在HLM基礎上發展而來。

不過彼時“神經網路”研究在法國幾乎處於停滯，這讓楊立昆頗為苦惱。

機緣巧合之下，他在一場國際會議上見到了傑弗裡・辛頓（GeoffreyHinton），兩人很快意識到，儘管他們此前從未謀面，但卻有著相同的興趣和研究思路。

“雙劍”很快“合璧”，博士畢業的楊立昆受辛頓之邀前往加拿大多倫多，共同研究神經網路和反向傳播。

同一時期，在加拿大蒙特利爾，楊立昆認識了當時還在讀研的約書亞・本吉奧（YoshuaBengio），後者對神經網路的瞭解讓楊立昆十分佩服，日後的“三巨頭”終於相互見面。

圖|1990年，楊立昆在AT&T貝爾實驗室發表的用神經網路識別手寫字元的論文（來源：資料圖） 從1985到1995年，神經網路經歷了相對繁榮的十年。

對於楊立昆來說，他的科研生涯也在美國貝爾實驗室迎來了小高潮：入職僅兩個月就開發出擁有6.4萬個連線的LeNet卷積神經網路，主要用於識別手寫字元。

最終，LeNet的升級版LeNet5擁有34萬個連線，被部署到一個銀行支票數字讀取系統中，應用於美國和法國的許多自動取款機中。

這是卷積網路的首次商業應用，直到20世紀90年代末，美國所有支票的10%-20%都是由它處理的。

可惜高光時刻未能延續太久，隨著貝爾實驗室隸屬的AT&T公司拆分，混亂的管理和權力分劃讓人無暇顧及這個渺小的、不能賺大錢的系統。

中年被裁，經歷十五年的“神經網路寒冬” 隨後，“神經網路寒冬”降臨，從1995年開始，持續了近15年。

“有五年多的時間，我們幾乎沒有再涉足機器學習的研究，只是發表了幾篇整理性質的論文，”楊立昆回憶稱，“於我而言，這些論文就像是天鵝臨死前的最後哀鳴。

” 當時，他先是被AT&T裁掉，之後在日本NEC公司的普林斯頓研究中心也承受著研究快速落地和變現的壓力，並不能潛下心來做科研。

於是在2003年，他決定應聘紐約大學的教授職位，這樣至少可以安穩地做研究。

由於業界對神經網路不夠重視，從2004到2006年，楊立昆、辛頓和本吉奧的論文幾乎被所有機器學習領域的重要會議拒收，比如NIPS和ICML，而CVPR和ICCV這樣的偏應用領域的大會也不太歡迎神經網路。

“寒冬”中三人抱團取暖，他們還借鑑“深層政府（deepstate）”這樣的陰謀論，自嘲為“深度學習陰謀”小組。

熟悉楊立昆的人都知道，他是個性非常鮮明，說話直言不諱的人，對自己的想法堅信不疑。

此前，他在推特上與各路網友爭論並連發數十條推文，甚至一度表示要“徹底告別推特”。

這種特立獨行的性格孕育他逆行的勇氣，使他在無人看好神經網路的年代裡，仍然全身心投入其中。

圖|2005年，楊立昆等人將神經網路技術用於無人車避障（來源：資料圖） 2006年，有關深度學習、神經網路等概念的論文逐漸被機器學習大型會議接受，雖仍有不小阻力，但至少不再像以前那麼排斥。

這離不開他們仨多年來的奔走疾呼，以及默默耕耘出來的研究成果。

自2003到2013年的十年間，楊立昆一直在紐約大學實驗室裡默默地擴展卷積網路的應用範圍。

物體識別、面部檢測、人臉識別、機器車的主動避障和自動駕駛、生物和自然物體影象的語義分割，這些即便在今天都很“新鮮”的技術，其實早在10-20年前就已被他挨個實現。

2013年前後，隨著計算機硬體的進步（尤其是業界對GPU的應用）、以及資料量的爆炸式增加，楊立昆等人終於迎來春天。

後面的故事我們都知道了，由神經網路驅動的模型開始橫掃各種比賽，以超出傳統方法數倍、甚至數十倍的表現成為了電腦科學界的“新寵”。

  “我想人們更瞭解AI” 2019年底，楊立昆將自己的科研生涯、人工智慧技術的底層原理、以及自己對人工智慧現狀和未來的思考著成法語版《科學之路：人，機器與未來》一書。

如今，中文版先於英文版問世。

圖|楊立昆的書（來源：中信出版集團） “我想讓人們更加了解深度學習和人工智慧是什麼，而且毫不掩飾其中的複雜性，”楊立昆解釋自己著書的初衷，“人工智慧已經在影響人們的生活，在未來可能會帶來更大的影響，因此人們需要了解它是如何工作的。

這本書兼具自傳和科普屬性，可以讓喜歡敘事與喜歡科學邏輯推理的人同時享受深入機器的科學之旅。

”  從最基礎的學習機和感知器，到監督式學習，再到深度網路和和卷積神經網路，最後到無監督學習，這幾乎是數十年來最引人注目的機器學習技術的進化過程，包括反向傳播、CNN、ResNet、GAN在內的一系列經典演算法和模型悉數出現。

乍看之下，這些內容背後充滿數學模型和函式運算，令人望而生畏。

但通過簡單易懂的案例，帶有註釋的虛擬碼，以及環環相扣的推導，楊立昆希望讓不同背景的讀者都能明白人工智慧的實現過程。

在許多理論和術語第一次出現時，楊立昆就給出了通俗的解釋，連一元一次方程都有解釋，細緻程度堪比教科書。

他告訴DeepTech：“我的目標是，如果你有高中數學水平，那麼理解書中的數學概念就不在話下。

即使跳過數學，也不影響對內容的理解。

” 例如在理解自動駕駛的原理時，即使“向量”“梯度”“維度”之類的概念看得似懂非懂，也可以藉助“車輛壓到左側白線，因此要向右調整”等通俗直白的解釋搞清楚原理。

當然，現實情況比理論複雜的多，瞬息萬變的路況、各國不同的交通法規、以及不守交規的情況都會打破人工智慧模型所熟悉的“完美的世界”。

因此，只有瞭解技術背後的原理，才能知道它的極限所在。

（來源：Pixabay） 過去五年，許多人對自動駕駛和無人駕駛的普及充滿了樂觀，按照一些媒體和企業2015年的預測，2020年就應該有數千臺無人駕駛汽車（L4以上）行駛在路上，但現實並非如此，連L2、L3級別的輔助駕駛都時常出現問題。

其實，自動駕駛本質上是一個AI完備問題，不能單靠計算機技術來解決，而是必須有人類介入。

“AI需要人類的常識（commonsense）才能解決這類問題，”楊立昆表示，“知道了這一點，才能明白為什麼無人駕駛不會普及得那麼快。

” 他還表示：“我認為如果你想在AI領域創造價值，計算機知識固然重要，但量子力學、運籌學和資訊學的知識更加重要，尤其是它們背後的數學。

”  楊立昆：自我監督學習模型是目前最有前景的AI 對於大多數人而言，最好奇的問題可能是人工智慧的未來是什麼樣子？何時才能實現？ 楊立昆告訴DeepTech：“我們希望AI具備接近人類的智慧，那麼它就需要具備常識，才能讓所有期待成為可能。

” 所謂常識，就是人類在與物理世界互動的過程中自然而然形成的觀念和認知。

比如兩個月左右的嬰兒就已經知道物體之間可以相互遮擋，被擋住的物體仍然存在，而非憑空消失；九個月大的嬰兒，就已經知曉了重力和慣性等物理概念的存在。

如果有違背普遍規律的事情出現，不會說話的嬰兒會睜大眼睛，做出一副不可思議的表情。

人類大腦的這種學習能力，是楊立昆等AI科學家想要復刻的。

但目前在機器學習領域，無論是監督學習還是強化學習，都存在一定侷限性，這給人工智慧的進步設定了無形的天花板，結果就是人工智慧對世界只有一個膚淺的理解，而不具備常識。

楊立昆認為，目前最有前景的實現方法是一種被稱為“自我監督學習（Self-supervisedLearning）”的模型。

這是他近幾年大力支援且深度參與的研究方向，多次將其稱為“智慧世界的暗物質”。

圖|2021年3月，楊立昆在FacebookAI官方部落格撰文介紹自我監督學習（來源：資料圖） 該模型的核心是在不提供標註資料的前提下，訓練AI的預測能力，可用於填補文字、影象或影片中的空白。

模型的背後，結合了感知模組、世界模型和評判體系三大模組：通過感知模組獲得周圍環境的狀態資訊，藉助世界模型（函式）預測接下來可能出現的多種狀態，再交給評判體系（成本函式）預測目標未來的平均值，表示某個狀態對於世界狀態的發展是有利還是不利。

這套複雜的、具有預測能力的自主智慧框架誕生的時間並不長，但已受到廣泛關注，在自然語言處理領域大放異彩的谷歌BERT模型，其背後原理（Transformer架構）與自我監督學習一脈相承。

另一方面，訓練機器學習模型需要用到海量的資料，但楊立昆指出，無論你在媒體上讀到了什麼，大公司對自己的資料都有“極強的保護欲”。

無論是出於“保護使用者隱私”，還是出於“鞏固競爭優勢”的目的，總之它們是不會隨便分享自己的資料的。

而自我監督學習模型可以有效減少對資料的依賴，幫助解決這個人工智慧領域亟待攻破的挑戰之一。

開放的精神讓AI技術實現飛躍 至於何時AI才能具備常識，許多人認為，從“沒有智慧”到“擁有智慧”或許就在一瞬之間，比如某個顛覆性技術橫空出世，或者一覺起來，AI機器人突然就完成了自我覺醒。

楊立昆坦言自己也無法回答這個問題，但可以肯定的是，這一過程絕不會是“一夜之間出現的”。

他對DeepTech表示，“顛覆性技術是無法預測的，你永遠不知道什麼時候會出現。

但我們搞懂AI的過程一定是循序漸進的。

幾年後，我們或許能做出一個跟貓的智商差不多的AI。

至於跟人類智慧相當的水平，可能要幾十年以後了。

” 聽起來似乎有些悲觀，但其實許多媒體和企業通過營銷噱頭在一定程度上神化了AI的進展，使後者在公眾心中變得過分樂觀，甚至出現了對AI的恐懼和末日論。

作為一個堅守立場並已度過“AI寒冬”的科學家，楊立昆毫無疑問對神經網路和人工智慧持積極態度，其評價也更客觀。

他表示自己很欣慰能看到“日益開放的研究氛圍”，因為只有整個行業持續保持開放的精神，才能湧現出越來越多的優秀成果。

我們看到的開源和開放精神，也就是最近七、八年流行起來的，十多年前並不是這樣的。

就算是現在，許多在AI研究上投入巨大的公司也更喜歡保密，然後開發基於人工智慧的消費產品，以獲得競爭優勢。

但楊立昆認為這並不代表巨頭就能形成壟斷，因為“創新的想法可以誕生在任何開放的環境中”，小企業也可以憑藉優秀的研究成果謀得一席之地。

  “這本質上是公司文化決定的，需要全球性的努力，”他補充稱，“好訊息是，我們看到越來越多的公司在推進開放精神，有歐美公司，也有中國公司。

” 楊立昆由衷希望這個趨勢能繼續下去，只有這樣，才能激發更多科學家去發掘人類智慧的奧祕。

-End- 「其他文章」 中國科學家研發後量子密碼演算法與工程，在量子時代替代傳統加密，已實現RISC-V等物聯網實驗平臺應用 登上Nature封面，中科大校友實現矽量子計算99%保真度，基於矽的量子計算機有望成為可能，正考慮未... AI學者沈春華全職回國加入浙大，將助力浙大國重實驗室計算機視覺研究 中科大團隊首次在室溫實現全固態氟離子電池長迴圈，25℃持續充放電4581小時，幾乎無容量衰減 中國科學家發現銀河系中心存在高能粒子加速器，17個月結束全程研究，被NatureAsia選為亮點研究 合成生物學再立功，“餅乾”也能降血糖！北大聯合華師大開發密碼子擴充套件細胞療法用於食療糖尿病 中國石墨烯器件領軍人物又一力作，清華任天令團隊研發石墨烯基織物，體徵異常可發聲提醒 元宇宙場景應用又一科研成果誕生！90後上海交大學者研發磁感應追蹤系統MagX，提供完全不受約束的手... 華南理工唐本忠院士團隊研發天藍光OLED，外量子效率突破38%！國產顯示螢幕“卡脖子”難題迎新希望 中國科學家提出太空農業植物種植解決方案，研發“全株可食用精英植物”馬鈴薯 劍橋大學科學家研發新一代個性化人工耳蝸模型，模擬耳蝸導電效能，回國加盟頂尖高校 北大北航聯手研發首個“仿生種植體牙周膜”，實現“剛柔並濟”，同時克服骨整合和能量耗散難題 百萬超摺疊，效能逼極限！同濟大學團隊實現多項導電材料仿生摺疊新突破，任意變形電子裝置現曙光 獨家|清華學子姚頌29歲再創業：創辦商業航天公司，天使輪融資4億元！預計2023年首飛“引力”1號捆... 專訪張亞勤：31歲成為“最年輕的IEEEFellow”，出走半生迴歸學界，創辦清華大學智慧產業研究院，將... 鮑哲南團隊成功研發新型半導體，實現5000圈可逆迴圈！五倍於已知可拉伸柔性半導體迴圈壽命 中美科研團隊建成世界最大的小鼠全腦神經元資料集，包含1741個“金標準”單細胞，助力大腦解析程序 亞太地區“35歲以下科技創新35人”重磅出爐！20位中國青年學者嶄露頭角 牛津大學90後“奈米孔測序”再獲進展：單腳跳分子3小時內可前進249步，有望推進無酶體系在生物大分子... 90後同濟畢業生拓展三維微流控組裝方法，攻克兩大製備難題，可用於體外組織培養和人造器官輸送養料等 「深度學習」 斯坦福NLP課程|第20講-NLP與深度學習的未來 CUDA優化之PReLU效能調優 致初學者的深度學習入門系列（五）——深度學習影象分割篇 致初學者的深度學習入門系列（三）——深度學習目標檢測篇（上） TVM加速模型，優化推斷 深度小例子程式碼學習深度學習好幫手 深度學習3使用keras進行遷移學習 手把手推導BackPropagation 沙利文：百度飛槳位居2021中國深度學習框架綜合競爭力第一 天才製造者：獨行俠、科技巨頭和AI｜深度學習崛起十年 「CNN」 基於PyTorch的卷積神經網路經典BackBone(骨幹網路)復現 如何擁有一個兼具CNN的速度、Transformer精度的模型？位元組甩出TRT-ViT教你 [PyTorch小試牛刀]實戰四·CNN實現邏輯迴歸對FashionMNIST資料集進行分類（使用GPU） 使用MaskR-CNN訓練一個抗原檢測模型 【9】一些經典CNN結構的pytorch實現 CNN本月底將關停：推出至今尚未滿月 深度學習——卷積神經網路（CNN，conv，maxpooling） SparseR-CNN:End-to-EndObjectDetectionwithLearnableProposals 用Python與人工智慧一起寫對聯pythonpytorchTransformerBiLSTMATTNCNN CVPR2022｜Self-Attention和CNN的優雅整合！清華大學等提出ACmix，效能速度全面提升！