AlexNet - 維基百科，自由的百科全書

AlexNet是一個卷積神經網路，由亞歷克斯·克里澤夫斯基（Alex Krizhevsky）設計，與伊爾亞‧蘇茨克維（Ilya Sutskever）和克里澤夫斯基的博士導師傑弗里·辛頓共同發表， ... AlexNet 維基百科，自由的百科全書 跳至導覽 跳至搜尋 AlexNet是一個卷積神經網路，由亞歷克斯·克里澤夫斯基（AlexKrizhevsky）設計[1]，與伊爾亞‧蘇茨克維（IlyaSutskever）和克里澤夫斯基的博士導師傑弗里·辛頓共同發表[2][3]，而辛頓最初抵制他的學生的想法[1][4]。

AlexNet參加了2012年9月30日舉行的ImageNet大規模視覺辨識挑戰賽[5]，達到最低的15.3%的Top-5錯誤率，比第二名低10.8個百分點。

原論文的主要結論是，模型的深度對於提高效能至關重要，AlexNet的計算成本很高，但因在訓練過程中使用了圖形處理器（GPU）而使得計算具有可行性[5]。

目次 1背景 2網路設計 3影響 4亞歷克斯·克里澤夫斯基 5參考資料 背景[編輯] AlexNet並不是卷積神經網路（CNN）第一次利用快速GPU實現而贏得圖像辨識競賽。

K.Chellapilla等人（2006）在GPU上的CNN比同等的CPU實現速度快4倍[6]。

DanCiresan等人（2011）的深層CNN在IDSIA上已經快了60倍[7]，並在2011年8月取得了超過人類的表現[8]。

從2011年5月15日到2012年9月10日，他們的CNN贏得了不少於四場圖像競賽[9][10]。

他們還極大提高了文獻中多個圖像資料庫的最佳效能[11]。

根據AlexNet的論文[5]，其與Ciresan的早期網路「有些相似」。

兩者最初都用CUDA編寫，可在GPU支援下執行。

實際上，兩者都是楊立昆等人（1989）介紹的CNN設計的變體[12][13]，他將反向傳播演算法應用於福島邦彥（福島邦彦）最初提出的CNN架構「neocognitron」的一個變種[14][15]。

後來J.Weng提出的最大池化方法修改了該架構[16][10]。

網路設計[編輯] AlexNet包含八層。

前五層是卷積層，之後一些層是最大池化層，最後三層是全連接層[5]。

它使用了非飽和的ReLU啟用功能，顯示出比tanh和sigmoid更好的訓練效能[5]。

影響[編輯] AlexNet被認為是電腦視覺領域最有影響力的論文之一，它刺激了更多使用卷積神經網路和GPU來加速深度學習的論文的出現[17]。

截至2020年，AlexNet論文已被參照超過54,000次。

亞歷克斯·克里澤夫斯基[編輯] 亞歷克斯·克里澤夫斯基（出生於烏克蘭，在加拿大長大）是一名電腦科學家，以在人工神經網路和深度學習方面的工作而著稱。

在通過AlexNet贏得ImageNet2012挑戰賽後不久，他和同事將他們的創業公司DNN研究公司（DNNResearchInc.）賣給了Google[1]。

克里澤夫斯基對這項工作失去興趣後，於2017年9月離開了Google[1]。

在Dessa公司，克里澤夫斯基將為新的深度學習技術提供建議和幫助[1]。

研究人員經常參照他的許多有關機器學習和電腦視覺的論文[18]。

參考資料[編輯] ^1.01.11.21.31.4DaveGershgorn.TheinsidestoryofhowAIgotgoodenoughtodominateSiliconValley.Quartz.2018-06-18[2018-10-05].（原始內容存檔於2019-12-12）.  ^ThedatathattransformedAIresearch—andpossiblytheworld.[2020-01-17].（原始內容存檔於2017-07-27）.  ^ILSVRC2012Results.[2020-01-17].（原始內容存檔於2020-01-16）.  ^Krizhevsky,Alex.ImageNetClassificationwithDeepConvolutionalNeuralNetworks(PDF).[2013-11-17].（原始內容存檔(PDF)於2013-05-12）.  ^5.05.15.25.35.4Krizhevsky,Alex;Sutskever,Ilya;Hinton,GeoffreyE.ImageNetclassificationwithdeepconvolutionalneuralnetworks(PDF).CommunicationsoftheACM.2017-05-24,60(6):84–90[2020-01-17].ISSN 0001-0782.doi:10.1145/3065386.（原始內容存檔(PDF)於2017-05-16）.  ^KumarChellapilla;SidPuri;PatriceSimard.HighPerformanceConvolutionalNeuralNetworksforDocumentProcessing.Lorette,Guy(編).TenthInternationalWorkshoponFrontiersinHandwritingRecognition.Suvisoft.2006[2020-01-17].（原始內容存檔於2020-05-18）.  ^Ciresan,Dan;UeliMeier;JonathanMasci;LucaM.Gambardella;JurgenSchmidhuber.Flexible,HighPerformanceConvolutionalNeuralNetworksforImageClassification(PDF).ProceedingsoftheTwenty-SecondInternationalJointConferenceonArtificialIntelligence-VolumeVolumeTwo.2011,2:1237–1242[2013-11-17].（原始內容存檔(PDF)於2013-11-16）.  ^IJCNN2011Competitionresulttable.OFFICIALIJCNN2011COMPETITION.2010[2019-01-14].（原始內容存檔於2019-01-21）.  ^Schmidhuber,Jürgen.HistoryofcomputervisioncontestswonbydeepCNNsonGPU.2017-03-17[2019-01-14].（原始內容存檔於2018-12-19）.  ^10.010.1Schmidhuber,Jürgen.DeepLearning.Scholarpedia.2015,10(11):1527–54[2020-01-17].CiteSeerX 10.1.1.76.1541 .PMID 16764513.doi:10.1162/neco.2006.18.7.1527.（原始內容存檔於2016-04-19）.  ^Ciresan,Dan;Meier,Ueli;Schmidhuber,Jürgen.Multi-columndeepneuralnetworksforimageclassification.NewYork,NY:InstituteofElectricalandElectronicsEngineers(IEEE).June2012:3642–3649.CiteSeerX 10.1.1.300.3283 .ISBN 978-1-4673-1226-4.OCLC 812295155.arXiv:1202.2745 .doi:10.1109/CVPR.2012.6248110. |journal=被忽略(幫助) ^Y.LeCun,B.Boser,J.S.Denker,D.Henderson,R.E.Howard,W.Hubbard,L.D.Jackel,BackpropagationAppliedtoHandwrittenZipCodeRecognition（頁面存檔備份，存於網際網路檔案館）;AT&TBellLaboratories ^LeCun,Yann;LéonBottou;YoshuaBengio;PatrickHaffner.Gradient-basedlearningappliedtodocumentrecognition(PDF).ProceedingsoftheIEEE.1998,86(11):2278–2324[2016-10-07].CiteSeerX 10.1.1.32.9552 .doi:10.1109/5.726791.（原始內容(PDF)存檔於2017-12-15）.  ^Fukushima,K.Neocognitron.Scholarpedia.2007,2(1):1717.doi:10.4249/scholarpedia.1717.  ^Fukushima,Kunihiko.Neocognitron:ASelf-organizingNeuralNetworkModelforaMechanismofPatternRecognitionUnaffectedbyShiftinPosition(PDF).BiologicalCybernetics.1980,36(4):193–202[2013-11-16].PMID 7370364.doi:10.1007/BF00344251.（原始內容存檔(PDF)於2014-06-03）.  ^Weng,J;Ahuja,N;Huang,TS.Learningrecognitionandsegmentationof3-Dobjectsfrom2-Dimages.Proc.4thInternationalConf.ComputerVision.1993:121–128.  ^Deshpande,Adit.The9DeepLearningPapersYouNeedToKnowAbout(UnderstandingCNNsPart3).adeshpande3.github.io.[2018-12-04].（原始內容存檔於2018-11-21）.  ^AlexKrizhevsky.GoogleScholarCitations.[2020-01-17].（原始內容存檔於2020-04-17）.  閱論編可微分計算概論 可微分編程 神經圖靈機（英語：NeuralTuringmachine） 可微分神經電腦（英語：Differentiableneuralcomputer） 自動微分 神經形態工程（英語：Neuromorphicengineering） 圖型識別 概念 梯度下降 電纜理論（英語：Cabletheory） 聚類分析 迴歸分析 過適 對抗機器學習（英語：Adversarialmachinelearning） 運算學習理論（英語：Computationallearningtheory） 關注（英語：Attention(machinelearning)） 卷積 損失函式 反向傳播演算法 啟用功能 Softmax S函式 線性整流函式 正則化 資料集 程式語言 Python Julia 應用 機器學習 人工神經網路 深度學習 科學計算 人工智慧 深偽技術 硬體 TPU VPU（英語：Visionprocessingunit） 憶阻器 SpiNNaker（英語：SpiNNaker） 軟體庫 TensorFlow PyTorch Keras Theano 實現音訊-視覺 AlexNet WaveNet 人體圖像合成 HWR OCR 語音合成 語音辨識 臉部辨識系統 AlphaFold DALL-E（英語：DALL-E） 語文 Word2vec Transformer（英語：Transformer(machinelearningmodel)） BERT NMT 辯論者專案（英語：ProjectDebater） 華生 GPT-3 決策 AlphaGo Q學習 SARSA（英語：State–action–reward–state–action） OpenAIFive（英語：OpenAIFive） 自動駕駛汽車 MuZero 人物 AlexGraves（英語：AlexGraves(computerscientist)） 伊恩·古德費洛 約書亞·本希奧 傑弗里·辛頓 楊立昆 吳恩達 傑米斯·哈薩比斯 DavidSilver（英語：DavidSilver(computerscientist)） 李飛飛 機構 DeepMind OpenAI MITCSAIL Mila（英語：Mila(researchinstitute)） GoogleBrain FAIR（法語：FacebookArtificialIntelligenceResearch） 主題 電腦編程 技術 類屬 人工神經網路 機器學習 取自「https://zh.wikipedia.org/w/index.php?title=AlexNet&oldid=63718818」 分類：​神經網路軟體深度學習人工神經網路隱藏分類：​引文格式1錯誤：已知參數被忽略含有非中文內容的條目 導覽選單 個人工具 沒有登入討論貢獻建立帳號登入 命名空間 條目討論 臺灣正體 不转换简体繁體大陆简体香港繁體澳門繁體大马简体新加坡简体臺灣正體 查看 閱讀編輯檢視歷史 更多 搜尋 導航 首頁分類索引特色內容新聞動態近期變更隨機條目資助維基百科 說明 說明維基社群方針與指引互助客棧知識問答字詞轉換IRC即時聊天聯絡我們關於維基百科 工具 連結至此的頁面相關變更上傳檔案特殊頁面靜態連結頁面資訊引用此頁面維基數據項目 列印/匯出 下載為PDF可列印版 其他語言 Englishעברית日本語Українська 編輯連結