古人云：三思而後行，今人云：深度學習 - 心得報告

古人云：三思而後行，今人云：深度學習 · 第四次讀書會心得記錄 · u 時間：108年11月20日19:00至21:00 · u 導讀人：桑慧敏教授 · 前一小時介紹Ian Goodfellow ... 古人云：三思而後行，今人云：深度學習 第四次讀書會心得記錄 讀書會主題:古人云：三思而後行，今人云：深度學習 u 時間：108年11月20日19:00至21:00 u 地點：工一館R829教室 u 導讀人：桑慧敏教授 u 讀書會進度內容： 前一小時介紹IanGoodfellow等人所著「DeepLearning」之第十一章和第十二章，再由大四專題生發表如何將這學期所學的知識應用在畢業專題中。

後一小時使用電腦實際演練如何用python做圖像歸一化(Normalization)。

以下羅列本次讀書會重點： l  11.1：性能度量 l  11.2：默認的基準模型 l  11.3：是否收集更多數據 l  11.4：選擇超參數 l  11.5：調適策略 l  12.1：大規模深度學習 l  12.2：計算機視覺(圖像歸一化處理) l  12.4：自然語言處理 l  專題分享：MaskRCNN應用於晶圓瑕疵檢視 l  專題分享：YOLO應用於檢測裝備配戴   u 討論紀錄   1.     開場： 桑老師：「謝謝大家參加這學期的讀書會以及閱讀指定書籍，並且會前花時間和老師多次meeting。

每次讀書會大家都花了很多時間去準備報告，也在這期間學到很多東西，因此這段時間相當值得，謝謝大家的努力。

每個上台報告的同學除了學習以外，同時也在擔任老師的職責，希望大家能教學相長，讓彼此都能更加進步。

」 2.     學生分組報告： (1)理論介紹 A:由戴汶男介紹模型的輸入和輸出類型，並複習神經網路(NeuralNetwork,NN)基本流程，並包含激活函數的選擇、Optimizer的差異跟選擇。

接下來依照模型績效的不同，來決定要做出怎樣的調整，例如：蒐集更多的數據、將數據做智慧型轉換、調整超參數(HyperParameter)、提前終止、改善LossFunction等等。

其中，超參數指模型的基本參數，如隱藏層層數、隱藏層unit數、Dropout比率等等。

而改善LossFunction則是在發生過擬合，意即LossFunction的次方數過高時使用，添加懲罰項來有效降低高次方參數對LossFunction的影響。

並介紹NN常使用的性能度量之意義，如Accuracy、Recall、Specificity、F-measure等。

 桑老師總結：汶男的內容主要在幫大家整合之前幾次的內容。

Optimizer通用公式增加自適應項以及動量項的原因，是為了讓學習率更因應不同的梯度調整求解步伐，讓Optimizer加有彈性。

謝謝意筑跟汶男把各個Optimizer的係數互相比較並整合出來，可大家參考。

性能度量中的Sensitivity其實即是Recall，至於為何一樣的意義要取不一樣的名字這點需要再去探討，而F-MEASURE給了一個綜合評估各式神經網路的指標。

ANN的A為人工的或類(Artificial)，也就是並非天然。

它的功能都是人所賦予的，像是優化器的發展也是人所做出來的，因此若是沒有人去開發便不會有人工智慧，很謝謝汶男幫大家整合前幾次的內容。

  B.尤子維介紹何謂調試策略。

調試策略的出現是因為我們在訓練好的網路模型中，往往只能知道模型訓練的好或不好，而不能真正了解是在建構模型的哪一個環節出了問題。

因此調試策略就是讓我們能夠找出模型出問題的地方，並能夠想辦法調整，這次主要介紹前向網路可視化。

舉例來說，我們能夠將CNN中的每個卷積後圖像輸出，若出現純色圖辨證明我們在該層的捲積擷取了錯誤的特徵因此需要調整。

Hypercolumns則是將我們挑選的卷積層輸出圖像疊起來，讓圖像能同時保留淺層的位置特徵以及深層的物件特徵，以此提升模型效果。

 桑老師總結：這個小節提出重要的問題，但是沒給出正確改善模型的解法。

正確提取特徵是非常重要的議題，但是關於改善方法的描述卻太過模糊。

而Hypercolumns和專題生用的FPN概念相近，有興趣的話希望能有人研究並找出調整的方法或規則。

  C.蘇品融介紹大規模深度學習常見的解決方法。

因應數據越來越多、模型規模越來越大的研究，勢必是無法再用單一台電腦進行模型訓練，因此最直覺的解決方式就是增加多台電腦來處理模型的訓練，也就是並行(Parallelism)。

而並行又分為兩種，將模型分為不同區塊給不同機器處理的模型並行(ModelParallelism)，以及將整個數據分為不同的子集並給不同機器訓練同一個架構的模型後，再進行整合的數據並行(DataParallelism)。

一般而言，在實行上數據並行會比模型並行來的容易，因為其主要需考慮的問題在如何整合成大模型，而模型並行則需要考慮要如何將數據同步以及傳輸。

 桑老師總結：大規模的神經網路的確越來越常見於研究之中，在這次的讀書會中我們先提出基本的概念讓大家知道。

若是有同學在遇到模型龐大到無法用單一電腦訓練完成時，可以再去自行研究使用方法。

  D.林呈昱介紹何謂歸一化。

歸一化是一種數值的前處理方式，常用的方法有兩種，分別為Min-Max和Z-score。

再來簡單的介紹圖像中的RGB原理，以及將圖像歸一化後的輸出樣式。

最後解釋為何經過歸一化之後的數據在求解上能更快的求得最佳解。

 桑老師總結：書本是提到有這種方法,但僅作為其中一種改善模型的可行方式，不能保證一定會讓模型訓練速度變得更快。

將數據進行歸一化做為前處理這點，能連結到汶男前面提到的智慧化數據轉換，但除非足夠理解這些轉換方式的意義，不然很難找到真正適合的處理方式。

  E.陳宣任以及卓妤庭介紹自然語言處理。

所謂的自然語言為我們人所使用的語言，而我們希望機器能夠理解人所使用的語言，並做出我們所需要的回應，例如：翻譯、關鍵字預測等等。

為了提升模型的訓練速度，可以將自然語言經過Word2Vec做前處理。

Word2Vec主要目的為將原本one-hot編碼的龐大維度降維，並以此來提升模型訓練速度。

且Word2Vec轉換出的詞向量同時能夠顯示出各個單詞之間的關聯性程度如何，也能提升接下來進行RNN等自然語言訓練模型時的準確度。

 桑老師總結：開頭動機的部分講得很好，凸顯出這個小節的重要性。

將數據降維的確能讓模型訓練速度變得更快，當然模型的改進不只有提升訓練速度這個方向而已，還有讓模型正確率提升這條路可以走。

  (2)專題報告 A.由陳得凱、徐致恆、黃宇謙報告如何用MaskRCNN進行晶圓上的瑕疵辨識以及分類，並展示將寫好的程式應用在專題合作公司的電腦時之運行情況，能夠計算總共找到幾個瑕疵(OISF)以及辨識所耗時間。

其辨識準確率相當不錯的同時，相比人工辨識也大大加快了作業效率。

  B.由葉子匯、郭芸如、薛宜忻報告如何將YOLO應用在工廠操作員之裝備配戴辨識上。

讓YOLO辨識影片中的操作員配戴的裝備種類是否正確，並且是否出現在正確的位置上。

該專題的貢獻在，有望透過監視錄影器辨識裝備配戴，來降低工廠的操作員因沒有正確配戴裝備而產生的意外事件數量。

  (3)上機演練 由林呈昱和曾靖堯實際演練如何用python讀取圖像，將圖像歸一化後輸出。

讓大家能實際了解歸一化前與歸一化後會有什麼差別。

  3.      當日讀書會參與者的回饋 l  卓妤庭：這學期的讀書會學到很多東西，雖然只經過四次但是比必修課還要還要充實，謝謝老師舉辦這麼有意義的活動。

l  簡弘吉：最後提到的兩個專案是我們公司的，他們的題目難度很高，光是辨識出有哪些缺陷類型之類的就花很多時間。

也很感謝他們，讓我們開始將這些東西應用在公司上。

另外長晶斷線題目難度又更高，希望之後研究生的研究也能有所突破。

很感謝老師讓我對這些知識有基本的認識，能夠判斷公司需要使用的是哪種神經網路。

這次報告，汶男的統合也對大家很有幫助，能幫大家複習這些概念。

l  邱景銘：這次讀書會比較有感觸的就是歸一化的部分，因為YOLO也有使用到這個概念。

以前只知道這是要加快收斂速度，老師的問題點醒我，要去質疑為什麼他會變快，以及會不會有其他情況反而變慢等特例。

l  陳柏言：這次先讀書會幫大家整合以前的概念，再講深入的東西，最後專題生的報告又應用了之前的內容，讓我覺得這次讀書會很有系統性。

l  葉子匯：謝謝老師這學期舉辦的讀書會。

因為書本的原文很多，自己讀容易因為倦怠讀不完，但是分組報告讓大家不用全部讀過也能擷取書本中的精華。

l  黃子耘：這學期的讀書會讓我學到兩件事：(1)學會用cwtex排版程式做報告用的beamer，(2)學到書的內容以及老師的思維，並不斷的把書整理成更有關聯性的內容。

而這次讀書會開頭汶男的總整理又把之前的內容複習一遍。

l  林煌偉：這次讀書會開頭的複習有老師一直提倡的系統思維，然後提到其他如何改進模型的細節，並提到要考慮這些方法是否適用。

而最後又有應用的部分，也讓我們想到是不是能將YOLO使用在公司的工作員操作路徑判斷上。

這次的讀書會激發我們更多對實務的聯想，而實作的部分也相當有用，讓我們對理論有更多的了解。

l  黃家玓：後悔以前沒有參加讀書會,學到相當多,報告也準備的很用心,學道系統思維,專題報告的防護衣讓我聯想到醫院的隔離衣,有思考過能不能應用到醫院裡判斷隔離衣有沒有確實的穿上,醫學上也有很多影像判讀的應用,像是病徵的判讀 l  蘇意筑：謝謝大家來參加這學期最後的讀書會。

這次的同學花了很多的時間準備，所以才能帶給我們有深度的內容，感謝大家的用心和努力。

   u    同學書面心得報告   1.     黃家玓(在職專班)    很高興我今天又遇到一件幸福快樂的事，那就是有機會參與老師所舉辦「古人云：三思而後行，今人云：深度學習」讀書會，雖然我僅參加這學期最後一次的讀書會，但讓我受益良多。

人工智慧、深度學習，是近幾年的發燒議題，各領域都積極運用與探討。

老師說：「人工智慧」的“智慧”，也是“人”賦予給它的，如何讓電腦能抓出你所想要的，“人”還是關鍵。

藉由讀書會的學習，從各組同學報告分享的內容，理論架構總整理複習、分項探討、實際操作、實務業界連結的應用等，內容言簡意賅，生動活潑。

我不敢說全盤了解，但也略知皮毛，學習過程中也一直啟發我聯想如何運用到臨床工作中，提升工作效率及創新思考等。

     老師所帶領的讀書會團隊，不僅是閱讀、理解文章或整理架構有所進步，更重要的是表達能力的磨練，相互討論、腦力激盪的學習精髓。

過程中老師又潛移默化了我們，她的教學理念「系統思維」，真得讓我學到幸福快樂。

SONG-Lab的快樂讀書會，值得參與的活動，只能說:欲參加者從速，以免向隅。

  2.     呂晟瑋(碩二)    這次的讀書會除了跟前三次讀書會一樣為我帶來了許多的新觀念，同時也利用一個神經網路建構的流程，為我們複習了從第一次到第三次讀書會以來講過的東西，使我對於過去每次講到的方法有了更深的印象。

而這樣的一個架構也呼應到了第一次讀書會講解激活函數、網路層數對於整個模型的影響，讓我們在知道整個建構的流程，也對於每個步驟實際的意義以及調適的方法都有了一定程度的了解。

並且，在建構神經網路的流程中，決定性能的度量是這次讀書會我覺得受益最多的，因為除了許多單面向的績效指標，例如Accuracy、Specify等等，此外也提供了一個Fmeasure的衡量指標，可以讓我們全面性的去衡量我們的模型。

         此外，除了神經網路的建構流程外，對於大規模的神經網路運算與CNN的資料可視化這兩個議題可說是非常的棒，因為有些議題即使自己去執行了也不會碰到。

而大規模的神經網路，就讓我們知道神經網路除了層數等設計外，當運算量過於龐大時就要考慮如何使模型的運算更加的快速。

CNN在訓練時，雖然我們都知道捲基層會帶出圖片中的特徵，但這些特徵實際上長得甚麼樣子只有當我們將它圖式化後，才能讓我們人類能了解他們其中的奧秘，才能用我們自己的智慧更佳的改善模型。

     總結來說，這次的讀書會可以說是收穫良多，並且我覺得這樣的收穫要有參加前三次讀書會的人才能夠體會，因為每一次的讀書會內容都是有相關性，每參加一次就能讓深度學習的知識更加烙印在我們的腦中。

  3.     邱景銘(碩二)    這次的讀書會為本學期最後一次讀書會，也累積了前三次讀書會的精華，內容雖然為之前幾次讀書會的延續，但也因為有前三次讀書會的基礎，能讓這次讀書會上台報告分享的同學可以有更好的表現，讓我們與會的人員可以集大成融會貫通，讓此次分享的章節可以有一氣呵成，免得台下的聽眾囫圇吞棗，這也得感謝指導教授：桑慧敏老師的細心教導與會前付出心力幫助我們的報告，致使每一次的讀書會都可以順利進行且讓與會者收穫滿滿、滿載而歸。

               一開始為戴同學的報告，言簡意賅說明如何建立神經網路的基本流程，報告結束之後桑老師使用戴同學的簡報內容，加入補充說明使得台下聽眾可以進一步思考，引人入勝，在簡單但深入的報告後，還可以促使我們更加理解報告的精深之處，是桑老師的厲害之處，帶領學生們精益求精。

     再來令我印象深刻的則是桑老師在林同學報告完之後的補充說明，因為林同學所報告的內容提及先前我報告內容中的一部分，歸一化（normalization），雖然我在準備報告時已經事先學習過歸一化，但透過這次聽他人的報告依然可以讓我再次學習；而老師的補充說明讓我深思一件事情：使用歸一化後真的可以無往不利嗎？是否有反例是使用歸一化後反而是壞處的例子呢？這是值得深思的問題，畢竟目前接觸過的人是有使用歸一化，但是沒有使用是不是沒有不好呢？桑老師總能在我們先入為主的觀念上提出反思，透過這樣子的帶領，進一步提升我們的能力。

  4.     徐致恆(大四專題生)    本次讀書會由學長的報告與各組專題生的報告所組成，學長們報告的題目我都是第一次聽到的，包括視覺化、標準化等，而專題生的報告也都有所進展，尤其是實作的部分真的相當有趣。

但最讓我印象深刻的還是對優化器的統整，以一個式子為基準再依不同情況帶入不同的參數，將眾多繁雜的公式整理得如此一目了然實在是非常值得我學習，希望我以後也能將事情統整到如此地步。

   5.     簡弘吉(在職專班)    這次是最後一次的讀書會，很快的每兩周一次且歷時兩個月的讀書會，就要畫下句點。

這次安排的第一位同學的報告，有著相當承先啟後的效果，總結前三次讀書會的內容，有種豁然開朗的感覺。

後續的案例分享，從OISF自動辨識和Yolo運用在酸洗防護穿著自動檢查，都有很大的突破，這兩組專題生，真的表現很好，與我原本的預期相差很多，做的真的太好了。

     在這課堂進行中，煌偉和我討論出，或許這個深度學習方法可以用在太陽能塗佈坩堝製程，畢竟這種手動製程方式，有再多的規範和教育訓練，總是會有人不按照規定執行，如果透過深度學習辨識方式，確實是可行的。

  6. 陳得凱(大四專題生)    這次讀書會包括兩個部分，前半部分主要是統整前三次讀書會的概念，並用系統思維的方式將之前的概念重新整合，後半部分則是各組專題生報告各組專題。

前半部分我覺得是此次讀書會非常成功的地方，因為本來我已經快要忘記之前所聽過的概念，但在聽完學長姐的統整後，又重新拾起了之前所學到的知識。

雖然我本身對深度學習有一定的了解，但在聽完學長報告如何建立與調整神經網路後，我發現自己其實有些部分了解的非常淺，仍需要補足相關的知識。

     而讀書會的後半部則是專提升的專題報告，在這部份讓我最有感觸的是偵測是否有穿戴防護具的部份，因為我們自己的專題與影像辨識有關，而那組所使用的方法YOLO也是在影像辨識中非常重要且實用的工具，如果之後有機會，我也想嘗試利用YOLO來解決我們的問題！   7. 蘇東洵(碩二)    這次的讀書會為前面所有讀書會的總結。

雖然是總結，但依然有汲取到新的觀念，因為有了過去讀書會的基礎，對類神經網路的了解，我們才能夠吸收此次讀書會所得到的一些新的東西。

像是新的衡量指標F-measure，不會只從Accuracy、Specify的方面去解析模型，而對模型有更全面的了解。

     每次的讀書會，因為都有老師的引導加上同學的報告才能學習到新的東西，而在學習新東西的同時，也不是似懂非懂的了解，不懂的地方也會由老師的解釋，有更深入的了解。

舉例來說，以歸一化（normalization）的例子，雖然我在過去的課程中以學過歸一化；然而透過老師的補充說明讓我更加去深思歸一化的意義：使用歸一化後真的可以都可以讓結果變得更好嗎？是否有反例是使用歸一化後反而是壞處的例子呢？這是值得深思的問題，在學習類神經網路的過程中，歸一化這個動作就像是喝開水一樣，不加思索的就會去做，但卻忽略思考做這個行動的意義，這樣的學習也能套用在其他的地方，而讓自己精益求精。

  8. 黃子耘(在職專班)    這次的讀書會，同學演示了透過NN來實現的幾個範例。

這次有兩組同學個別展示了他們在專題上面的研究成果。

     這兩組同學的研究案例，都正好是工廠實務裡面常會遇到的東西。

一個是透過影像分析，確認操作人員是否穿著正確服裝。

透過NN的演算分析，從確認帽子、護目鏡、手套、衣服，一直到膠鞋，若有一項不符合規定中的衣著，就會識別出來給予警告。

相似這類的用法越來越廣泛，應用在工廠裡的機會也越來越高。

     另一組同學研究的是，透過NN來檢測晶棒的缺陷並且加以分類。

利用電腦的運算及速度，僅僅需要一分鐘就可以分析80餘張照片，比起過往的人工檢查與分類真的是相差甚遠，且又具精準度。

在品質與交期都需要兼顧的現代工廠，利用演算法來做這類的把關，是目前的潮流。

  這次的讀書會，是這學期的最後一次，雖然只有短短的四次，但是收穫良多，且仍然還有許多東西還需要再鑽研。

利用讀書會跟老師討論以及跟同學分享，來學習這門淵博的學問，真的是印象深刻的體驗，希望下次還能夠再次參與讀書會。

  蘇品融/2019-12-10 "古人云：三思而後行，今人云：深度學習"第三次讀書會心得記錄 第三次讀書會心得記錄 讀書會主題:古人云：三思而後行，今人云：深度學習 u 時間：108年11月6日19:00至21:00 u 地點：工一館R829教室 u 導讀人：桑慧敏教授 u 讀書會進度內容： 前一小時介紹IanGoodfellow等人所著「DeepLearning」之第九章和第十章，以及額外補充YOLO辨識模型的運作原理。

後一小時使用電腦實際操作如何用CNN辨識手寫圈叉圖、filter可視化以及RNN訓練電腦進行語言翻譯。

以下羅列本次讀書會重點： l  Chapter9：捲積神經網路(ConvolutionalNeuralNetwork,CNN) l  Chapter10：循環神經網路(RecurrentNeuralNetwork,RNN) l  補充：YOLO(YouOnlyLookOnce)影像偵測   u 討論紀錄   1.     開場：    桑老師向大家說明自己在讀書會前和學生們開會中，同時也學到很多。

也因為有過會前會，所以看過報告的內容，很期待在場的大家能夠在這次的讀書會中學到更多的新知識。

並且整理上次同學報告過的Optimizer，簡單舉例幾個參數調整方式，將Adam轉換成不同的Optimizer，並藉此證明Adam的確是一個一般化的Optimizer。

2.      學生分組報告： (1)理論介紹： A.由郭芸如、葉子匯及薛宜忻介紹CNN的特色及內容。

首先解釋傳統ANN問題，也就是在圖像辨別上常常因為不重要的特徵改變，而導致辨別結果的改變。

舉例來說，若是以桑老師的照片訓練好一個ANN模型後，再用一張桑老師戴眼鏡的照片去辨別，就會因為多了眼鏡的關係而判成不同人，儘管實際上是同一個人。

因此為了解決這個問題而出現了CNN這個神經網路。

再來解釋CNN的細節，像是Filter的使用是為了強調輸入圖片的特徵、CNN的模型架構分為特徵擷取的捲積層和辨識用的ANN，以及捲積層的運算方式。

並提到Zero-padding的使用讓捲積層運算時不會有圖片邊緣較少被運算到的問題。

   桑老師總結：目前做CNN時最常使用的keras套件裡面也有使用Zero-padding，實驗室也有整理好的CNN模型，在調整層數等參數時能更方便。

說回CNN，就算是很小的小孩子也能認得出戴眼鏡的桑老師，因此人天生就是使用特徵在辨別事物的，所以CNN改以特徵值來辨識圖像這點是相當有邏輯。

Filter中的數值基本上都是用訓練來獲得的，所以在使用CNN時應該要搭配實驗設計去決定要使用多少捲積層。

而且前面的特徵擷取(捲積層)和後面的ANN為一體的，牽一髮動全身，不能分割。

人和ANN判斷圖片時的邏輯差異的圖是自己做的，相當生動有趣。

  B.由曾靖堯和薛閔之介紹RNN的特色及內容。

開頭先以老師建議的，用管制圖描述RNN基本架構的方法，讓大家清楚理解RNN的R是指NN模型的重複操作以及帶有時間序列的概念。

再來解釋RNN的特殊性以及用途，其特別在引入「狀態」來獲取「序特徵」，並且常使用於音訊、語言、股票趨勢等帶有「序列」特徵的資料分析之中，像是手機的智慧選字就是一個例子。

RNN又分為三類：(1)manytoone：類似填字遊戲，給予一串語句去堆測接下來要輸入甚麼字。

(2)onetomany：結合了CNN的功能，用CNN判斷圖片有什麼物件，再用RNN根據物件輸出一段描述。

(3)manytoMany：最常見的便是語言翻譯和聊天機器人，給予一串語句並輸出相對應的內容。

RNN對於數據的處理有著越後期的資料重要性越高的特性，因此會有前期的資料因為數據的增加而不再重要的問題。

為了改善這個問題發展了LongShort-termMemory(LSTM)演算法，其特徵便是只去記憶真正重要的訊息。

   桑老師補充：RNN的特點就是不斷重複NN且單次的NN跟前一次有關。

onetomany中的one代表的是單一張圖，然後輸出是人或狗、他的動作，這些屬於CNN的範疇，再輸出manywords(敘述)。

圖片選的相當好，讓人容易理解。

     C.由邱景銘介紹YOLO的特色和內容。

YOLO是YouOnlyLookOnce的縮寫，意指只要看一次就可以辨識出圖中物件的類別以及位置，也就是物件辨識和物件偵測試同步處理的，為一種onestage物件偵測。

與之對比，RCNN需要先切出物件所在位置再進行辨識，因此速度上會比YOLO慢。

YOLO的優點為便是速度快且能進行全圖視野偵測，但缺點就是成群的小目標偵測不準。

會有這個缺點是因為其物件位置偵測的原理：ClassProbabilityMap，將圖片劃分成多個方格(grid)並計算每個grid含有物件的條件機率，並將其代表程一個類別(class)，也因為這樣若是有多個小物件集中在圖中便容易有只判斷出一個類別一個物件的情況出現。

至於判斷電腦訓練成效好不好的指標則為IntersectionOverUnion(IOU)，為計算手動圈出物件的框以及電腦圈出的框將其交集區域除以聯集區域來獲得。

        桑老師總結：我們在這次的讀書會學到了目前最常使用的幾個神經網路(NeuralNetwork,NN)模型，有最基礎的ANN、辨識圖片用的CNN(常用keras套件)、辨識有序列資料的RNN，以及能快速辨識圖片及影像的YOLO。

有了這些基本知識後，在研究時就能根據用途的不同選擇相應的方法。

    (2)上機實作    先由蘇東洵帶大家實作RNN模型，將字詞編好one-hot碼後訓練RNN做中翻英訓練。

再來由葉子匯帶大家用CNN去實作手寫圈叉圖的辨識，並將filter可視化輸出。

3.     當日讀書會參與者的回饋 l  蘇東洵：YOLO的部分講得很清楚，把YOLO抓取物件的原理都解釋得很清楚 l  邱景銘：剛開始沒有提到IOU，也沒提到為甚麼叫YOLO。

但因為老師提醒這個取名的重要性才發現這個名字和YOLO運算方法的連接性。

l  郭芸如：以前把CNN和YOLO想成是一樣的，但今天報告給了很好的範例去區分兩者的不同。

老師也很會給大家重點去了解問題所在。

l  林煌偉：RNN以前沒接觸過，聽完之後對它的應用感到很有興趣，像是語言翻譯等等。

l  曾靖堯：老師花了很多心力在我們身上，也提點了很多重點給我們去改善報告內容，像是幫我們把RNN架構連結去品管的管制圖。

l  陳宣任：因為今天講到的CNN、RNN、YOLO以前沒聽過，所以在報告的時候會互相比較這些方法的差異跟特徵的凸顯。

這次讀書會的報告讓我能夠很好了解整體的架構，而且因為很多都能用城市跑，所以這些概念反而變得更深刻。

l  陳柏言：這次讀書會的內容是建立在前幾次的讀書會(ANN)上，為了不同的情況才延伸出不同的方法。

讓我知道不同的情況有什麼樣的方案去解決。

l  簡弘吉：RNN的圖讓我印象相當深刻。

而且發現學校其實有相當多東西感覺都能應用到RNN，例如股票的趨勢等等。

l  桑慧敏老師：其實在同學們準備讀書會的過程中，我學到的才是最多的。

因為我聽完報告會去消化內容再去以自己的方式說出來，如果學生們認為無誤且好懂就會變成很好的講法。

因此我所做的就是，提供把報告的同學們所提供的素材連接在一起的方法。

目標是希望讓教學化繁為簡且記憶深刻。

u 同學書面心得報告   1.     黃宇謙(大四專題生)    這次讀書會的內容主要介紹了CNN、RNN以及YOLO，其中CNN(ConvolutionNeuralNetwork)跟傳統ANN的差別在於，CNN多了卷基層的部分，保留了圖片上的空間資訊，以與kernel做卷積的形式產生featuremap，以擷取特徵作為輸入的方式去作為訓練的輸入。

過程中會使用Padding和Pooling等步驟來對每一層的輸出尺寸進行縮放，最後才將featuremap攤平後送入全連階層運算，比起直接將原圖丟入全連階層，這麼做省下了很多運算資源，也更精確地保留了一些重要的空間資訊。

       而RNN也是基於ANN加上了額外的一些優點，一般的神經學習網路接受的輸入彼此之間是不會有影響的，以CNN為例，輸入的像素之間彼此互相獨立，上一個像素質是255或是0都不會影響下一個像素實際的值。

但在像是處裡語言方面的內容則會有一些序列上的影響，例如「我想吃」後面應該接的字會是食物相關的字詞。

RNN(RecurrentNeuralNetwork)就是能夠處理這種問題的模型，其中又分了幾種方向，ManytoOne處理像是語言相關的任務、OnetoMany處理看圖說故事相關的任務，ManytoMany的聊天機器人等等。

還介紹了一點RNN短暫記憶缺點的優化模型LSTM，LSTM可以更長久的保留一些重要資訊 。

       YOLO部分介紹了，YouOnlyLookOnce的模型架構，這是一種物件偵測的模型，而也正如其名，此模型在物件偵測上只需要一個階段(OneStage)即可將照片中的物件標示出來並 且辨別出來是什麼，和其他物件偵測模型需要兩階段(TwoStage)有著很大的不同，其原理是利用預測的Boundingbox和Classprobabilitymap經過NMS來找出最終偵測的BoundingBox。

     這次讀書會收穫非常多，認識了新的方法，新的架構，配合學長姐的解說示範，學習的效率非常的高。

在這三次讀書會下來，對於深度學習的脈絡更加清晰明確，不管是因為自己要上台報告必須充分的閱讀各種材料，還是學長姊有架構的分享自己的學習經驗，都讓我對於整個深度學系的框架有更扎實的理解。

每次讀書會的後半段都有上機的環節，也讓我覺得不只學到了理論，還能夠實作，非常的充實。

這是我第二學期參加讀書會，真的很感謝老師舉辦讀書會，讓大家能夠彼此共同討論，快速的學習，老師簡明扼要的對各個章節的解說也常常讓這個讀書會有著畫龍點睛的效果。

  2.     簡弘吉(在職專班)    透過第三次讀書會的進行，讓我清楚了解到有關於類神經網路的應用，印象最深刻是「Yolo」和「有著老師戴眼鏡的照片」，老師利用自己有戴眼鏡和沒戴眼鏡的照片，告訴了我們現況的深度學習(Deeplearning)所遇到的狀況，哪些是可以辨識，哪些是不容易辨識的。

這次的分享還是和前兩次相同，前半場是有關於公式和內容的探討，後半段是相關的實務操作練習，特別是透過自己跑Python的練習，讓我知道Siri再分辨字句是怎麼運作的，這點讓我十分的訝異，原本還沒上這堂課時，其實我一直以為語音辨識，應該只是利用大量的資料，找尋曾經發生過的字句，然後電腦透過大量的運算和比對的結果，萬萬沒想到這也是”深度學習”的一種。

最後，Yolo方法所呈現出來的狀況，讓我想起自駕車和最近有在用的汽車車道偏移系統，或許跟這項技術有關。

這群專題生，真的很不錯，她們居然透過此技術，幫我解決一直以來，無法時時刻刻盯著產線人員穿著正確護具的窘境，希望她們趕快搞定，好讓我利用此技術24小時盯著產線人員，保護他們工作上的安全。

  3.     尤子維(碩一)    經過上禮拜跟上上禮拜主要針對ANN的概念有了初步的了解後，今天一開始介紹的CNN就是建立在之前ANN的架構上再去做深入，在NN辨認人像時會去看特定的數字來決定結果，而我們在辨認時則是會去眼睛、鼻子等等的特徵，我們應該要讓電腦去看這些特徵來分辨，因此才會有CNN的產生，CNN中需要利用到Filter來乘上我們原本輸入的二值化，來加強特徵的分數使電腦去擷取較高的分數，那麼CNN中的C(convolution)就是前面提到相乘的概念。

     第二部分介紹到RNN的概念，那麼RNN中的R為重複發生的概念，其架構是將很多個NN以時間序列的方式進行重複m次的排列，那學長也有提到NN單純只接受數據、CNN注重在相鄰區域之間的關聯(例如圖像)，而RNN則注重樣本跟樣本之間的序列關聯，例如說我們平常手機在打字的時候，都會根據你打出來的字來去給出提示，或是網頁搜尋也是相同的概念。

其中老師更詳細介紹了OnetoMany的概念是經由一張(One)圖片得到一串文字(Many)的描述，其方式為將一張圖片經由CNN取得圖片特徵後，送給RNN進行語言處理，最後輸出一串文字。

     第三部分介紹到YOLO是如何運作，為什麼會叫YOLO(YouOnlyLookOnce)?主要是因為在物件偵測上只需要一個步驟(OneStage)就將照片中的物件標示出來並且辨別出來是什麼，其中利用Boundbox和Classprobabilitymap去利用NMS來找出最終偵測      今天收穫非常多，主要根據之前讀書會的基本知識，來去做一個比較大結構的介紹，就像桑老師最後提到的主要先有一個有系統結構，我們才能根據這個結構去深入裡面實際是如何運作，很感謝這次辛苦準備的老師、學長及專題生們，讓我學到這方面的知識。

  4.     陳宣任(碩一)    這學期的讀書會是讀一本有關深度學習的書籍，而在深度學習的內容裡，人工神經網路模型佔了非常大的部分，像是有(ArtificialNeuralNetwork,ANN)、(ConvolutionalNeuralNetwork,CNN)、(Recurrentneuralnetwork,RNN)等等，而這次的讀書會主要在介紹CNN、RNN、以及在辨識圖片的其中一個套件:YOLO，CNN被稱為卷積神經網路，以辨識一張圖片來說，它一般與ANN的差別在於，ANN的投入通常是一個數值，但它可能代表的是圖片的像素，但像素並沒有一個實際的意涵，而CNN則不同，它是先擷取圖片的特徵，進行特徵擷取後，再投入到神經網路模型中，而這個過程，可以使在訓練這類的模型時，效果更好，而在讀書會之中也有提事實上CNN就是在學習人類在辨識過程中的方法，假如我們今天遇到一個人，我們想要認出他是誰，我們會做的可能是，看他的嘴巴、頭髮、鼻子等等”特徵”，來辨認出這個人是誰，而CNN就是利用這個原理來辨識圖片。

     而RNN，被稱為遞歸神經網路，一般的神經網路模型像是ANN、CNN都是只能處理單一個輸入，而下一個輸入與上一次的輸入是無關的，但在有些情況下，我們會希望他們彼此之間會有關聯，也就是有序列關係，這樣才有辦法去進行預測，像是語言辨識，採用的就是RNN，原因是因為如果我們再進行語言辨識，我們只了解語言的單詞是不夠的，我們需要將這句話完整的放入神經網路模型中，因為RNN可以他會將上一次結果再次輸入，所以能夠解決這方面的問題，而老師透過一個簡單的品管管制圖的概念，X軸代表的是時間序列，來跟我們解釋RNN的運作方法，讓原本複雜的模型頓時簡單很多。

     這次讀書會當中，我們介紹了許多不同種類的模型，而老師透過非常簡單的例子或是概念輕鬆地把這些不同的模型串聯起來，讓我們能夠清楚地了解這之間關係，老師常常跟我們提到系統思維的理念，告訴我們不管任何問題，我們都應該要先清楚的知道它的全局，唯有從全局來看，才有辦法去理解它們之間的差別與關聯性，這次的讀書會不只學到了深度學習的概念與方法，後面再透過程式實作，去了解細部內容，而老師教導我們許多不同的思考方式以及解決問題的方法，這次讀書會雖然只有短短的兩個小時，卻學到了很多，我想這就是為甚麼老師的讀書會還有許多畢業的學長姊會想要回來繼續聽講的原因。

  5.     林呈昱(碩一)    首先還是先感謝我們的指導教桑惠敏授舉辦了這次的讀書會，對於深度學習的議題經過了前2次的介紹認識後，這次又提到了幾個令我們感到有興趣的議題，也就是從ANN發展而來的CNN、RNN及在計算機視覺的一個常用辨識目標物件的套件－YOLO。

     按照這幾次讀書會及自身的相關學習，我所歸納出的心得，CNN和RNN就是為了解決ANN或DNN所發展出來的神經網路，首先是CNN的部分(convolutionneuralnetwork)，由於ANN或是更多隱藏層的(DNN)，其採用的是全連接的形式，結構中的連接帶來了數量級的權值參數，這不僅容易導致過擬合，也容易造成陷入局部最優，所以說，就發展了CNN這樣的神經網路，並不是所有的上下層神經元都能直接相連，而是通過“卷積核”(filter)作為中介，同一個filter在多有圖像內是共享的，圖像通過卷積操作仍能保留原先的位置關係，而CNN之所以適合圖像識別，正式因為CNN模型限制了參數個數並挖掘局部結構的這個特點；再來是學長所介紹的RNN這個點，由於ANN(DNN)或是CNN，無法對時間序列上的資訊進行建模，所以說為了處理隊時間性的input，及發展了RNN這樣的神經網路，RNN的輸出除了是當前時刻的輸入所會影響的，另外其過去的歷史紀錄也會影響著RNN的此次輸出結果，所以說RNN可看作是一個在時間上傳遞的神經網絡，而最後所介紹的yolo，其全名為YouOnlyLookOnce，而其功能也跟此全名有著異曲同工的相似性，將物件的定位、特徵擷取、物件分類的3種影像是別的工作同一湊在一起進行，省去了大量的訓練運算時間。

     對於本次的讀書實為收穫良多，期待最後一次的讀書會能夠在獲取新知並為本學期的讀書會畫下完美的句點。

  6.     卓妤庭(碩一)    本週讀書會延續著上次讀書會內容，從CNN一路介紹到RNN以及YOLO方法。

其中CNN的部分主要說明如何準確切出特徵值的所在處，以往都是用像素值來當作訓練的輸入項，但CNN採用特徵來做為輸入項，經過濾鏡找到特徵後，得到分別的特徵分數，並用Zero-padding和Poolinglayer來整理這些數據值，以讓神經網路訓練判斷的更加準確。

而RNN主要是處理各個樣本和樣本之間的關聯情況，這部分對我而言是以前從沒接觸過的，是全新的認識到像是ManytoOne的語言模型、OnetoMany的看圖說故事以及ManytoMany的聊天機器人，這些日常生活會運用到的機器學習的運算概念；並且有介紹到改善了RNN短暫記憶問題的LSTM，LSTM僅保留了重要的訊息，抓重點的功能使他為RNN的優化模型。

第三部分進行的YOLO介紹，是針對物件偵測和辨識的套件，學長也詳盡的說明訓練如何判斷物件在圖片中的所在位置，並且因為可以全圖視野的偵測，所以是個十分實用的方法。

     這一次讀書會最讓我收穫很多，更加完整了深度學習的架構，經過三次的讀書會，讓我對於深度學習從沒有概念到了解其中脈絡，不論是自己報告時或是聽學長姐、學弟妹報告都能吸收到大量的新知，並且不只有理論上的認識，讀書會的第二小時都有上機操作程式的環節，讓我在理論之後，能立即練習執行，並直接驗證看出訓練的計算結果，加速了學習的吸收。

特別謝謝老師把大家集合起來，召開這個讀書會，很多平常在常態課程學不到的新知，都在讀書會學到了，並且老師適時的對於內容畫龍點睛，也加深同學們的學習成效。

  7.     蘇品融(碩一)    之前剛升碩一的暑假和老師去開中美會議時，便有聽到一些關於CNN以及YOLO的討論，可是自己卻完全不了解那是什麼東西，連基本的ANN架構也是在之前的讀書會報告準備才了解。

因此這次讀書會的內容對我而言完全是新的知識，也終於了解原來CNN是常用於圖像辨識的神經網路，以及他和ANN的差異性跟運作原理。

而RNN開頭的將模型改為管制圖形式的想法也很讓人意外，以前沒有想過能像這樣把不同領域的東西改用我們熟悉的領域去表示。

RNN本身常使用的領域也很讓人有興趣，像是我們常用的翻譯功能、關鍵字推薦等等原來也都是RNN的應用範圍，也藉由這次讀書會理解了原來這些功能的建立並不是那麼容易的事情。

最後則是YOLO的介紹，學長清楚的介紹了YOLO的優勢以及他跟CNN的差異，同時也簡單敘述了他的運作原理。

雖然會有精確度稍低的缺點，可是速度夠快的優勢卻能被應用在即時影像分析等等。

這些內容都是我在大學時不曾知道的，同時也是現今相當熱門的學問，因此這次的讀書會真的讓我受益良多。

     最後則是上機實作，每次的上機其實用意都是一樣的，希望我們不要只是硬背得到的知識，而是能夠透過程式實作來加深印象。

這點我認為很棒，而且程式得到的結果也十分有趣，很謝謝每次寫出實作用程式的同學們。

也因為有跟老師事前開過會才能有這麼精簡而深刻的讀書會，所以同時也感謝桑老師對學生們付出的時間。

  8.     黃子耘(在職專班)    這次的讀書會，除了回顧之前所研讀的ANN，又進一步了解了同學們整理的CNN、RNN、以及目前很多人在使用的YOLO。

       在同學報告之前，老師有再與我們回顧上周我們在研讀的ANN。

而CNN、RNN其實也是藉由ANN演進過來。

CNN在處理訓練集上，並未回朔過去的成果，所以又演進出了RNN，以類似管制圖的手法概念，比對過去的訓練集的結果，所以訓練出來的結果更好。

後面介紹的YOLO，是目前最流行的圖像辨識手法，透過讀書會的研討，也讓我們能夠了解了YOLO的原理架構。

       所以透過讀書會，我們不僅學習到了最原本的演算架構，也逐步認識了其他演進的演算法，而且也接觸到了現在最夯的YOLO，在經過老師的提點整理，讓原本只是看各點的學生我們，能夠見樹又見林，而且溫故又知新。

  蘇品融/2019-11-26 "古人云：三思而後行，今人云：深度學習"第二次讀書會心得記錄  古人云：三思而後行，今人云：深度學習 第二次讀書會心得記錄   u 時間：108年10月30日19：00至21：00 u 地點：工程一館R829教室 u 導讀人：桑慧敏教授 u 讀書會進度內容：    前一小時介紹IanGoodfellow等人所著「DeepLearning」之第七章後半段和第八章，後一小時上機實作生成對抗樣本以及Dropout的使用。

   以下羅列本次讀書會重點： l  7.10：稀疏表示 l  7.11：Bagging l  7.12：Dropout l  7.13：對抗樣本 l  8.1：何謂深度學習的最佳化 l  8.2：優化過程會遭遇的困難 l  8.3：基本算法(隨機梯度下降(SGD)、Momentum) l  8.5：自適應學習優化算法(Adagrad、RMSProp、Adam) l  8.6：二階優化算法(牛頓法、共軛梯度法)   u 討論紀錄   1.     開場： 桑慧敏老師分享自己每次在跟準備讀書會的同學進行會前報告時都學到很多新的知識，像是Optimizer中的AdaptiveGradientAlgorithm(Adagrad)其中的Adaptive是因為在更新的過程中會根據斜率修正步伐才使用這個字，以及目前普遍被使用的Adam具有一般化的優勢，像是SGD、Momentum等不同的Optimizer都是Adam的特例。

也因為同學們願意花時間和老師開會，才能讓桑老師想到能更好表示這些知識的方法。

  2.     學生分組報告： (1) 理論介紹 A.    陳得凱介紹ANN和CNN的差異：用ANN做圖像辨識需要將全部的像素放入ANN並且訓練所有參數，相當費時。

而CNN則是將圖片的像素矩陣乘上filter矩陣後轉一維再放入ANN訓練，因此需要訓練的參數量較少。

桑老師再幫忙總結兩者的差異：CNN是看物品的特徵值,舉例來說,若桑老師戴眼鏡跟不戴,ANN會判斷成兩個不同的人,而CNN是以老師的鼻子眼睛等等重要的特徵來判斷是否為同一個人。

因此CNN在運作的原理為經數據經過處理後取得特徵值再放入模型。

  B.     黃宇謙先介紹稀疏表示為一種壓縮資料量的方法，並介紹何謂正規化？就是一種避免產生過擬合的方法，只要能維持重要特徵並降低不重要特徵以及噪音的影響都能視為正規化，像上禮拜的提前終止即為其中一種。

這禮拜介紹兩種正規化方法：Bagging和Dropout。

Bagging為用抽出放回的方式選出k個訓練集後訓練出k個模型，並將這些模型採投票的方式分類。

Dropout的出現則是因為Bagging於深度(複雜)的網路表現不好而產生，其原理為隨機移除神經網路中節點，相較於Bagging有著計算量較小，且能使模型學到較重要特徵的優點。

桑老師為其總結：雖然Dropout有著能提升速度的優點，但未必是一個完美的方法。

  C.    徐致恆介紹何謂對抗訓練和對抗樣本。

對抗訓練為將對抗樣本加入訓練集讓模型訓練，並藉此讓訓練出來的模型有更強的魯棒性(robustness)。

對抗樣本則是將樣本加入噪聲後，足以誤導模型的數據。

舉例來說，有一個訓練好的模型放入貓的圖片後，有88%的信心認為那是貓的圖片，但加入噪聲後卻會變成有99%的欣欣認為是酪梨的照片。

對抗訓練的使用有助於降低模型的誤判機率。

桑老師在介紹完後幫忙總結：在判斷圖片是不是貓的情況下，誤判的影響或許不大，可是若是要應用在紅綠燈或是病灶的判別上就很容易造成危險。

雖然人類能夠辨別出圖片中的差異，但訓練好的模型卻有可能因為添加噪聲而誤判，因此要訓練模型就算加入噪聲也能如人類一樣的判斷。

在研究方面，只要以前深度學習相關的論文沒有使用對抗樣本，只要將其添加就能做為新的論文使用，因為我們能確保在類似情況下我們的論文能比舊的論文判斷更準。

  D.   簡弘吉先介紹何謂深度學習的最佳化，即為更有效率的更新原權重以及更快的求解，並且最小化代價函數。

再來介紹模型最佳化時常遇到的困難：(1)病態系統，只要權重有極小的擾動就會對結果產生巨大的影響。

(2)目標函數為非凸函數，在此類問題常常會遇到所求解僅為局部最佳解而非整體最佳解。

  E.     楊朵先介紹Optimizer的功用，即為最小化代價函數。

並將常用的Optimizer分為一階以及二階，把各階常使用的Optimizer其數學式統整在一張beamer內讓大家更好比對各種Optimizer之間的差別。

此時桑老師向大家提問：請大家思考要怎樣調整Adam的參數才能轉換成SGD甚至是其他不同的Optimizer？並啟發大家Optimizer的命名都是有其邏輯的，像是開場提過的AdaptiveGradientAlgorithm(Adagrad)就是因為他有著當斜率大的時候就除較大的數，小的時候除小的數，也就是說有著斜率大的時候走小步、斜率小的時候走大步的特性，才因此使用「Adaptive」這個字眼。

在介紹完這些Optimizer後，老師也給出了總結：比較不同Optimizer對模型的影響，只要模型有改善就能能作為論文的研究方向。

我們是工學院的學生，對數學沒辦法鑽研的像數學系那麼深沉。

但經過這次的讀書會，能開始一窺其中的奧秘，雙方都學會了很多。

對我們而言更重要的是知道如何使用這些Optimizer。

    (2) 上機實作    由陳得凱帶大家上機實作要如何生成對抗樣本，並且演示給大家看雖然對抗樣本加入的噪聲是人眼幾乎無法辨別，但是放入模型之中卻會被機器判別成完全不同的物件。

  3.     當日讀書會參與者的回饋：   在讀書會結束之前，大家分享這次讀書會的收穫。

l  桑慧敏老師：謝謝各位同學花時間準備讀書會的報告，老師因為很專心聽所以會提出很多的問題，但同學有時候沒有聽懂問題的含意，就很容易造成溝通上的問題，這是大家可以更進步的地方。

將內容統整成一頁除了能讓觀眾更好理解外，在整理的過程中也會讓自己進步。

l  呂晟瑋：第二組說的Optimizer挑選方式很好，以前使用都不會在意更新機的使用。

在今天後知道Adam的涵義以及Adagrad的涵義，雖然使用上只需要挑選Optimizer，但了解數學事後更好理解哪個比較好。

l  葉子匯：因為和自己下次的報告有關，發現有些東西可以加進下禮拜的報告，能去比較ANN和CNN的效率差別。

l  林皇煒：Optimizer的部分因為有統整在一起，能更容易看出彼此之間的共同性和差別。

l  尤子維：瞭解了ANN和CNN的主要差別外，更新機的部分有使用到老師一直提倡到的系統思維變得更好理解。

u 同學書面心得報告   (1)蘇意筑(博士班)    這禮拜的讀書會主題承接上禮拜的提到類神經網路(ANN)的內容,進一步講了卷積類神經網路(CNN)。

我學到卷積類神經網路是為了訓練出並判別特徵值(featuremap,權重與偏置)，這是不會訓練特徵值的類神經網路所做不到的。

還學到許多的新名詞，例如稀疏矩陣、正則化的方法、對抗訓練與優化器。

   稀疏矩陣就是將許多值為零的矩陣，用另外一種資料儲存方法，以減少儲存的記憶體容量。

正則化的方法使用的目的是為了避免模型出現過擬合的情況，方法包含上禮拜提及的「提前終止」,與這禮拜提及的「Bagging(集成學習法)與Dropout」。

對抗訓練則是處理在原資料集加入噪音後,如何使模型績效表現穩定的議題。

優化器則分成一階(微分一次)與二階(微分兩次)，雖然不是很清楚各個優化器的細節，但老師以系統思維的方式說明優化器彼此有轉換的關係(例如:在一階優化器中,Adam是最一般化的優化器,能夠轉換成其他一階優化器),令我能夠立刻了解各個優化器的關係。

     這次的讀書會過程中，老師不斷在台下給予台上報告的同學精闢的建議與見解。

我深深地佩服老師將與議題相關的凌亂資訊，以系統思維的角度整合在一起，並分享給我們，使我們能夠學會許多新的知識。

同時老師也給予了我研究的方向，可以在我研究青光眼的議題中，增加對抗樣本，或使用不同的優化器，來看看績效表現是否會有所不同。

感謝為讀書會盡心盡力準備的老師與同學們，讓我對深度學習的議題有更多的了解，受益良多。

(2)林煌偉(在職專班)    此次讀書會中各組報告內容都相當豐富，且各個題目都說明的非常到位    主要學習內容及心得：    1.ANNandCNN差異，過去於課程中有學習到兩者的差異，但是當時並未清楚搞懂，在此次的讀書會過程中，清楚了解到這兩者的差異，以一個簡單的實例說明，同一位人有無戴口罩，於電腦的判斷會是不同人，然而CNN就是利用特徵值及權重達到自動辨識。

   2.如何預防過擬合Bagging集成及Dropout節點消失兩種的方法應用及差異    3.對抗訓練，同一張圖只是像素些微的差異，就會導致電腦判斷上有明顯得差異，以讀書會中的案例說明，兩張人可以快速判定沒有明顯差異的貓，但電腦卻將其中一張貓判定成酪梨醬，因此我們在訓練資料時，可以加入對抗訓練的方法，降低些微差異所導致的判斷錯誤。

   4.微小值的差異造成最後差異很大的結果，這樣的案例稱為病態系統，在深度學習過程中，也常常會發生局部最佳解的結果。

   5.將五種一階優化算法的公式放在同一頁進行比較，可以發現隨機梯度下降法動量法AdagradRMSprop皆為Adam優化算法的特例；於隨機梯度下降法可以用一個簡單的描述說明，“斜率大走小步斜率小走大步“。

   最後在各組報告後，整體報告內容的一致性，可以看得出各小組的用心及系統思維的落實及執行。

(3)簡弘吉(在職專班)    今天是第二次深度學習的讀書會，這次輪到我們這組需要報告，讀書會分享的內容為書本的8.1~8.3部分，共計三小節，這是有關於更新類神經網路計算需要用的權重最佳化方法介紹。

在讀會前的周日，老師還特別的幫我們將內容部分做了一次的Pre-meeting。

在這Pre-meeting的15分鐘中，真的讓我受益良多，也很感謝老師排除原本的行程，留在新竹幫我們看了分享報告內容。

當然老師給了許多很好的建議，例如隨機梯度法是怎麼選取訓練集，是隨機取出後放回?還是取出不放回?另外，隨機梯度法和梯度法有甚麼樣的差別，那與接下來的動量法又有甚麼不同，還是動量法其實是梯度法的一個特殊解，實際上是相似的，但只是多了一個動量項，額外加入的動量項是有甚麼目的存在?老師一連串有系統思維和邏輯的問題，雖然當下我有點不知所措，但讓我再重新的檢視這次分享報告內容，果真依據老師思考的脈絡，後續再找尋資料和其他書讓本，也漸漸的了解到這些問題的答案和老師系統思維的方式，老實說這堂讀書會的課程，讓我對類神經網路有更多的了解，但更多了系統思維的收穫。

(4)戴汶男(碩二)    這次讀書會的報告可以分成兩個部分。

首先報告的是關於神經網路訓練的技巧與名詞。

如:對抗訓練(AdversarialTraining)、稀疏表示(SparseRepresentations)以及正規化中的集成學習法(Bagging)和Dropout等等。

解釋了當overfitting發生時該如何處理。

   再來，第二組學弟妹接著報告了多種權重更新的方法，也就是如何優化神經網路。

其中包含:隨機梯度下降法、Adagrad、Adam等方法。

而老師則透過系統思維的方式，將其整理成一般化的表達方式，讓人十分好懂。

       最後，秉持著學以致用的精神。

我們透過報告組提供的python檔進行練習。

探討對抗樣本對於訓練的影響。

   這禮拜的讀書會依舊是紮實的理論配合實務的操作，我最喜歡也學到最多的部分是老師對於權重優化的系統性整理。

透過系統思維的方式，將看似凌亂的數種優化器整合成一般化通式的能力，令我受益良多，甚至多過理解優化器這件事本身。

其次則是關於overfitting的處理方式。

也就是透過正規化中的Dropout和Bagging，來降低神經網路的overfitting。

對我有極大的幫助。

(5)薛閔之(碩二)    本週讀書會內容分為兩個部分。

在第一小時，我們探討了ANNvs.CNN、稀疏表示(SparseRepresentations)、正規化(Regularization)，與對抗訓練(AdversarialTraining)。

首先ANNvs.CNN這部分，說明了CNN的權重能夠共享，也就是相對於ANN他能用更少的資源達到更好的辨識成果；稀疏表示則是在說明如何減少神經網路存取稀疏矩陣的資料量(所謂稀疏矩陣代表在矩陣中有許多參數為0)；正規化則是延續上週的讀書會提及的過擬合問題，說明提前終止、Bagging、Dropout等步驟能夠避免此問題；而對抗訓練(AdversarialTraining)則是加入對抗樣本的訓練，以提高模型辨識的表現。

   在第二小時，我們探討了多種更新權重的方法，也就是探討不同種類的優化器，其中一階優化器包含：隨機梯度下降法、度量法Momentum、Adagrad、RMSProp、Adam；而二階優化器包含：牛頓法、共軛梯度法等。

   這次讀書會內容延伸上週主題，以更深入探討深度學習。

在這次會議的討論過程中，我最大的收穫是了解各種常用的優化器，因為更新權重在深度學習中為相當重要的環節，有了這次讀書會所整合的報告，讓我知道在何種情況下應該使用何種優化器來更新權重比較適當，以往僅了解這些知識的概念，但這次讀書會著重探討其中的細節，因此對我有極大的幫助。

(6)黃子耘(在職專班)    這次的讀書會學到很多，除了書本的知識，也學習到了一些其他書本里沒有教的知識與技巧。

   這次由於是輪到我們報告，內容當中有介紹優化器的原理。

如同一般作報告一樣，針對各個優化器的原理，都各別分開說明，各自成一個段落，除了將報告中所有優化器的公式整理成一頁之外，並未有其他聯想。

然而在報告過程當中，因為將公式整合成一頁之後，對於每個優化器間的共通關聯性，老師與我們展開了討論。

雖然每個優化器開發的出發點都不盡相同，但是它們思考的方向是一樣的，老師也因此整理出了一個含括範圍最廣的一個通式，因應不同的優化器的不同的重點帶入變數，一樣可以得到該優化器的解。

這就是系統的思維。

   其實，「系統思維」一名詞，老師之前上課也有提過，只是並未領悟到其精隨，這次又見識到老師得加以活用，而且也讓我深刻體悟到，若只是一昧的死學習，那只能看見到冰山的一角，並不能看穿它背後的全貌，就如同我們這次的報告一樣，只是徒說明每個優化器的公式跟用法而已。

而透過系統思維，可以將報告簡化成一頁，且還可以得之每個優化器之間的共通性與差異性，可謂之「見樹又見林」。

   因此，老師不但言教，開導我們一些方法思維之外，也實踐了身教讓我們得以體悟。

(7)王欣怡(在職專班)    參與過老師的兩次讀書會，每一次讀書會都會有不同的收穫，前一次的讀書會主要要探討ANN與CNN以及Python練習和Machinelearning，神經網絡由輸入層（inputlayer），隱藏層（hiddenlayers），輸出層（outputlayer）三部分組成，輸入層（inputlayer）是由訓練集的樣本特徵向量傳入。

經由這類的學習我們可以將數據資料丟入機器(電腦)中學習，讓機器（電腦）像人類一樣具有學習與判斷的能力，把人類大腦學習與判斷的流程轉移到機器（電腦），基本就就是運用數據進行「訓練」與「預測」產業，這次讀書會加入了不同的元素，我們學習到如何利用在稍微改變像素之後，新圖像被以極高的置信度錯誤地分類。

小擾動對抗樣本不是深度學習所特有的，也不是特定模型才有的問題。

但是資料經過對抗樣本的訓練後會提高模型的穩定度，確保AI自動化的安全性，    經由課堂上操作的運用，我發現任何平凡的事都有可能產生刺激的學習動機，經由熟能生巧、反覆練習並且融會貫通後，我們會學到這堂課的精華。

  蘇品融/2019-11-17 "古人云：三思而後行，今人云：深度學習"第一次讀書會心得記錄 第一次讀書會心得記錄 讀書會主題:古人云：三思而後行，今人云：深度學習 u 時間：108年10月23日19:00至21:00 u 地點：工一館R829教室 u 導讀人：桑慧敏教授 u 讀書會進度內容： 前一小時介紹IanGoodfellow等人所著「DeepLearning」之第六章以及第七章前半段。

後一小時使用電腦實際操作參數更新的過程以及調整隱藏層層數或是神經元數量對測試集正確率的影響。

以下羅列本次讀書會重點： l  6.1、6.2：介紹人工神經網路(ArtificialNeuralNetwork,ANN)的基本架構以及用途。

l  6.3：常用之隱藏層激活函數的特性及簡介。

l  6.4：隱藏層層數以及神經元數量對ANN正確性的影響。

l  6.5：反饋網路更新參數的原理。

l  7.1~7.3：深度學習常見之過擬合、欠擬合問題及其帶出之解決方法。

l  7.8：提前終止。

u 討論紀錄 1.         開場：   桑慧敏老師開頭提問:人工智慧(ArtificialIntelligence)、機器學習(MachineLearning)、深度學習(DeepLearning)這三者之間的關係。

有同學提出網路上說深度學習是機器學習的子集，也就是三者關係應如下圖：       但桑老師提出了一個不同的見解，機器學習是由機器代替人力去進行龐大且複雜的計算，所以機器學習應該是一種著重於工具應用的方法。

而深度學習雖然一樣也是應用於龐大且複雜的問題上面，但是比起計算更著重於思考問題的解決上，因此是一種注重於結構上的方法，所以三者之間的關係應該如下圖：   2.         學生分組報告： (1)理論介紹： A.由林呈昱先介紹ANN的整體運作方式，包括如何將資料分類成訓練集、測試集、驗證集和分類好的資料是如何參與到整個ANN的流程之中，並解釋過擬合的概念。

而桑老師則在之後總結需要多分出驗證集的理由：光使用訓練集以及測試集無法得知是否有過擬合的現象產生，因此需要加入驗證集來確認有沒有過擬合。

  B.尤子維介紹解決過擬合問題的方法之一：提前終止，並說明其概念以及運作方式。

而由桑老師總結提前終止能夠解決過擬合的原因：在發現可能有過擬合現象產生時就終止運算。

  C.呂晟瑋介紹ANN的基本架構，包括輸入層、隱藏層、輸出層，以及各層之間的權重(weights)和偏置(bias)，並說明各層的資料如何運算後進入下層，最後則是以XOR函式做為ANN的運用範例。

之後則由桑老師總結這個部分主要是在解釋神經網路的分類邏輯，並且把神經網路連接到數學規劃的思考，例如：權重和偏置可視為決策變數、最小化損失函數可視為目標函數。

  D.蘇品融介紹常使用於隱藏單元的激活函數：線性整流單元(ReLU)及其擴展、sigmoid函數、tanh函數，並且說明不同激活函數之間的差異以及優缺點。

接著說明為何當想要提升測試集準確率時應該要優先選擇增加層數而非單純增加參數數量。

並由桑老師總結：在做深度學習相關研究時，應該也需要針對層數和參數數量去做實驗設計來掌握怎樣的調整能最佳化準確率。

而簡宏吉學長也分享自己以前在使用基因演算法的時候沒有想到哪種方式能提升運算的準確率，認為能將這個問題加入到研究之中。

  E.最後由陳宣任和卓妤庭來借紹反向傳播法如何去更新權重以及偏置，並講解其使用的基本數學概念：鏈鎖律，並且使用簡化的ANN去講解其實際的更新方法。

再由桑老師總結：將權重以及偏置作為決策變數、損失函數做為目標函數來看，反向傳播法實際上就是一種解數學規劃的方法，因此真正重要的是人對於解問題的邏輯而非機器的運算。

    (2)電腦實作:    先由陳宣任以及卓妤庭帶領讀書會成員用簡化的ANN帶大家手算反饋網路更新參數的過程，並用python演練當擴大網路後的參數更新情況。

   再來則是由蘇品融帶大家用python實際操作以手寫數字辨識的ANN為範例，在調整ANN的隱藏層數量或是神經元數量後對測試集準確率的影響，並比較哪種方法對提升準確率更有效率。

  3.         當日讀書會參與者的回饋:  在讀書會結束之前，大家分享這次讀書會的收穫。

l  郭芸如:第一次學到過擬合的概念，以及需要驗證集的原因 l  黃宇謙:學習到神經網路的架構，了解反向傳播，以及需要驗證集的原因 l  戴汶男:整體架構很清楚，圖畫得很好 l  黃子耘:我不是老師的門下弟子(指導教授不是桑老師),這次來聽讀書會,受益無窮。

我學到印象最深刻的部分是老師對於機器學習的解釋:機器學習是用電腦代替手算,但電腦運算的邏輯其實還是人給的。

l  蘇意筑:我很佩服老師能夠引導同學畫出深度學習的架構圖。

我自己也曾試著想要畫出深度學習的架構圖,但是迷失在廣大的網路資料中,無法成功畫出架構圖。

這次的報告同學們和老師總共開了三次的會，同學彼此和我也討論了許多次才能有今天的成果。

這次大家的報告非常棒，謝謝大家的努力！   u 同學書面心得報告 1.    林品君(大四專題生)    第一次讀書會主要內容介紹深度學習架構、欠擬合與過擬合、提前終止、激活函數、反向傳播......等等。

一開始學長給我們看了一張圖是深度學習的架構，我覺得很清楚明瞭，讓人一眼就看出整個報告邏輯。

後來的報告中讓我更加了解到validationset以及它如何避免過擬合。

還記得暑假我們在做專題時也曾遇過過擬合，在自己上網查詢後才認識這個問題，這次在讀書會上又再更加了解其中意義。

接著學長也介紹了提前終止的概念，也就是當驗證誤差過了最低點便終止(當驗證誤差(t)>驗證誤差(t+1)就提前終止)，此方法也適用於解決過擬合的問題。

後來學長也讓我們自己嘗試隱藏層數、節點數的多寡對模型準確度的影響，我覺得這超酷的。

以前在做nn時都是毫無頭緒的設定，更不曾想過可以將隱藏層數-準確度做成折線圖來分析。

     本次讀書會還有一令我印象深刻的是一開始老師讓我們思考：機器學習與深度學習哪一個涵蓋的範圍比較廣。

起初大家都認為深度學習只是機器學習的其中一部分，然而老師給我們一個全新的觀點：「機器學習」可以指利用機器幫助運算，取代傳統的人工運算;而「深度學習」可泛指問題的結構複雜，需要多層次思考，不局限於機器學習，機器只是協助我們解決問題的工具。

聽完老師的觀點給我頗大的反思，我發現我們在學習新的事物時往往被動地接受別人灌輸給我們的知識，很少像老師一樣主動去思考其中意義。

  2.    張信義(在職專班)    今日讀書會一開始，老師就引導我們討論關於「深度學習」和「機器學習」的範圍定義。

雖然最後老師提出的解釋與一般常聽到的不相同。

但在這當中更多的學習是，不管是如何定義，更重要的是自己的主張是什麼?自己是如何思考，並且是符合一個嚴謹的邏輯才是重要的，讓我不會只追求標準答案，而不去真正思考，到底這當中的區別是什麼，而這些區別和我有什麼關係(連結)。

     接著由許多同學的簡報，以一張Framework圖來展現深度學習的架構，一次就把重要的概念都帶到，並且讓我印象深刻。

而當中與過去了解的不一樣的是，深度學習的資料集，本來一直認為只要分為「訓練」和「測試」兩種；但經過同學的說明和老師的指引，為了避免overfitting的情況，應該還需要有「驗證」的資料集，確保我們訓練的AI不會受限於擁有的資料集，而創造出一個偏離「真相」的模型。

     再向下展開，由淺入深的討論實際演算法及Python的程式實作。

讓我在讀書會中，雖然一直不是屬於理工背景的學生，但是也能快速的有大量的進步與學習。

讓我印象深刻。

  3.    簡弘吉(在職專班)    很感謝桑老師在我畢業之後還讓我繼續參與讀書會的活動。

為什麼畢業後我還是想要參與呢?除了學習是終身都要持續之外，另一個主要的原因是桑老師的讀書會內容和扎實度是有口皆碑的、相當棒的。

過往我參加完讀書會後，往往都會在踏出教室門口時回味再三，並且在知識上獲得相當滿足感。

日前博士生意筑通知大家老師這學期的讀書會又要開始了，收到這訊息之後我就趕快去報名一點都不想錯過，即便是畢業了也是想去。

     這次讀書會討論主題是時下最熱門的”深度學習Deeplearning”，而且老師選用的書又是深度學習中可謂聖經的教科書。

這本書前面五個章節都在說明學習”深度學習”時所需要的基本數學工作的論述，因此讀書會是從第六章開始。

第一次的討論會議由今年碩一打頭陣，從報告的內容和編排明顯的感受的老師在讀書會前的用心，因為第一頁的”FrameworkofDeepLearninglogic”，就令我十分的驚艷，這頁就已經先把此次報告要說明的目標和架構說得清清楚楚一目了然，這樣的編排方式確實是承襲老師一貫的醍醐灌頂的作風，不打迷糊仗。

特別在訓練集、驗證集兩者的區分說得很清楚，再加上透過簡單的圖形去表示欠擬合和過擬合的差別，仍然是說得清清楚楚且不拖泥帶水，這點實在讓我很佩服。

最後一個小時透過實際上機去練習和體驗在調整隱藏層的多寡後對於結果的收斂狀況，讓我們知道後續在進行類神經網路的應用時，應該怎麼去進行和修改的，有了這些簡單和初步的了解後，也讓我對類神經網路有些基礎認知。

總結這堂讀書會是有類神經網路理論的說明和實際上機的操作，相當的不錯，老師真的很用心，我感受到了，謝謝您。

  4.    徐致恆(大四專題生)    這次讀書會的主題是由碩一學長姐所報告的ANN神經網路，他們從架構、原理到數學模型都講得非常清楚。

雖然我早已學習過ANN也看過許多相關資料，但今天還是第一次清楚了解他對資料的架構。

從train、validation到最後的test，每一步的緣由都得以讓我清楚了解，尤其是validationset的部分，以前學了那麼久卻竟然不曾看過，就好像我整個ANN都不曾學過一樣，此次讀書會真的讓我獲益良多。

  5.    郭芸如(大四專題生)    老師讀書會一開始就提問我們｢機器學習｣、｢深度學習｣的關係，我立刻又犯了老毛病查到什麼就相信，認為｢機器學習｣範圍較大且包含｢深度學習｣，但沒有明瞭其原因。

老師提出不一樣的觀點，先反問我們若深度學習屬於機器學習的一部分，那此書應以機器學習為題，而非深度學習。

後提出論點，機器學習為利用機器解決問題，此問題可是簡單或複雜的。

而深度學習如人類思考很多次，能解複雜問題並明晰其結構，因此應是深度學習包含機器學習。

     經此討論我發現我對人工智慧、機器學習、深度學習之間的關係一直是不明瞭的，會後我立刻去研究，有了新的看法。

人工智慧是｢讓機器展現人類的智慧｣是三者中含意最廣，概念發展也是最早的，基於人工智慧這一思想發展出決策樹、類神經網路、SVM等方法論。

機器學習與深度學習兩者在提出的時間上我尚未找到相關文獻，兩者幾乎平行發展。

其中機器學習是｢透過資料或過往經驗學習，改進的電腦演算法以達到人工智慧之方法｣，前述提到的決策樹、類神經網路、SVM因應用在電腦演算精進上都屬於其範疇。

而深度學習則是｢以人工神經網路為架構，對資料進行特徵學習的演算法｣，是因在電腦運算日益快速環境下神經網路得以進階發展，建構越來越深層、複雜的網路結構以更接近人類思考，基於此得以在近年蓬勃發展。

經調查後我認為是人工智慧包含機器學習，機器學習包含深度學習，因為3者在定義上的範圍大小不同，人工智慧讓機器模仿人類的智慧解題，機器學習透過各式數學、統計理論發展精進電腦演算之各式各樣的方法論，深度學習則是機器學習方法中的類神經網路之進階發展，透過深層網路結構更貼近人類思考，以提升模型精準度等。

     這次讀書會收穫很大的是搞清楚驗證集、過擬合這兩大概念。

驗證集是幫助我們檢驗模型是否過擬合，而過擬合指模型能夠非常好的擬合訓練數據，但卻在新的數據集上的表現卻非常糟糕。

我們希望訓練出模型可以擬合大部分資料，故過擬合現象是我們訓練模型時要避免的。

學長姐簡潔、結構的圖表讓我一目了然，再搭配邏輯的解說讓我很快理解兩個困擾我已久的概念。

下課針對還有疑問的部分，學長姐也很親切的和我們討論，這次讀書會獲益良多。

  6.    陳柏言(大四專題生)    在讀書會的一開始，教授讓我們討論有關機器學習與深度學習之間的關係。

在這個討論之前，我從眾多書籍裡得到的觀念是深度學習是機器學習的一部分，因此可以說深度學習是包含在機器學習裡的。

但是教授提出了一個新的看法，就是跟我們一般想法相反，反而是機器學習是包含在深度學習裡的。

老師給的理由是因為，深度學習是人的智慧的體現，而機器學習則是將龐大的計算交給機器做的事，但是由於機器的計算方法是人教他們的，機器只是能運算人類沒辦法處理的龐大計算量，因此才有機器學習是包含在深度學習裡的一說。

這也讓我跳脫出了我既有的知識框架，以不同的觀點看待這兩者的關係。

     接著，在讀書會報告中的第一頁，學長們以一個簡潔明瞭的圖表概述了這次讀書會他們要分享的內容。

光是一張圖，我們就能馬上抓到今天整個讀書會的重點，也讓我見識到了學長姐們的厲害之處。

報告的前半段，學長姐先透過一些例子以及數學公式介紹解釋了深度學習的一些基本概念，在介紹完之後接著讓我們透過程式實作更直觀的理解他們剛剛講的內容，也讓我對這部分的內容印象更深刻。

     總結這次的讀書會，讓我有機會理解了平時都沒有特別去注意道的深度學習的基礎觀念。

平時我都沒有特別了解這些理論的基礎，只是會使用運用到這些基礎概念的類神經網路而已，因此這次讀書會是有收獲的。

期待未來幾次的讀書會也能再有更多收獲。

  7.    楊朵(大四專題生)    這次讀書會真的是讓我受益良多，雖然這不是第一次聽到「深度學習」及「機器學習」，對這兩者也有基本的認識，但從沒思考過這兩者之間的關係，或是我一直以來都認為深度學習被包含在機器學習之中，然而老師提出了不一樣的觀點，如果深度學習屬於機器學習的一部分，那大標題應為機器學習，而不是深度學習，以及機器學習為利用機器幫助人類解決問題，但此問題可以是簡單或複雜，然而深度學習著重於問題的結構與複雜性，因此應為深度學習包含著機器學習。

     第二，老師與學長姐的報告標題簡單卻完整地闡述了深度學習的重點與精華，「古人云:三思而後行;今人云:深度學習」，這樣簡單的一句話老嫗能解，直接點出深度學習的意義─要想很多次，總是非常欽佩老師能夠利用簡單的句子、故事或案例，像我們解釋複雜的觀念，由淺入深的帶領我們，一步一步探索每個領域。

     最後，學長姐的報告更讓我對於深度學習獲得更多認識，尤其是報告中第一頁的圖，完整且詳細的表達整個報告的核心內容，比起用講的或寫的，可能都無法精確傳達自己的意思，但搭配表格或圖片，更能讓人清楚了解這其中的關聯，希望之後的報告我也能夠繪製出類似的表格，讓大家更能認識我所報告的內容。

     言而總之，非常開心能夠參與這學期的讀書會，想必定會和上學期一樣，收穫及成長許多，營造一良好的教學相長之學習環境。

  8.    葉子匯(大四專題生)    第一次讀書會桑老師就為這學期「深度學習讀書會」點題，首先讓大家討論何為機器學習?何為深度學習?從我的觀點我認為深度學習是一種機器學習的方法，透過程式的計算，藉由多層的函式結構互相連結，達到能偵測資料內多項特徵的技術讓預測更精準。

然而老師提出相異的論點:機器學習才是深度學習的方法之一，深度代表經過重重考慮後做出決定，我們人腦做決策時亦經過經驗、知識、建議的綜合評估後才下結論，因此利用機器輔助判斷的形式是深度學習的一類。

     然而除經過多層判斷的深度之概念，要如何教機器學習更令人好奇。

今日讀書會焦點在NN神經元網路的學習方法上。

首先拿到資料後，將之切割為訓練集、測試集與驗證集，從前我常有這樣的疑問：既然已經完成訓練測試集也能用來判斷模型表現，驗證集又為何被設計出來？原來訓練過程中模型容易有模型過度擬合的情形造成模型學習到訓練集中過多的資料特徵，導致未學習到整體資料概括的特徵而用是訓練集資料的特定特徵。

隨著訓練更新模型權重的次數增加，愈容易發生訓練過度的情形。

為能防止過度訓練，一方面節省訓練模型的時間成本，訓練模型更新參數的過程中使用驗證集在參數調整後檢驗績效。

一旦驗證集預測誤差變大，代表模型開始過度擬合。

成員們詳盡的講解終於化解我心中的疑惑。

     另一個印象深刻的內容是對於神經網路層數的實驗。

以往架接神經元網路我們通常認為增加層數才能協助模型做出更精準的判斷，然而本次成員以相同資料比較增加層數的模型與增加單層參數個數的模型效果。

我們發現隨著層數增加時層數少時績效隨著更多層數而提升，然而當超過7層後，績效開始下降，合理推測當模型擁有過多層數時會造成過度擬合現象反而降低模型預測準度。

參數測試上，除了參數少於200,000的情況，發現隨著參數的增加預測精準度也能提升。

未來對於架接神經元網路成員們在增加層數外更推薦增加參數數量。

     即便先前在數據智能化分析接觸過神經元網路，然而在這次讀書會成員用心的準備及具有深度的報告下解答困惑已久的疑問，也發現自己在研究上還能更深入思考的觀點，非常幸運可以聽見大家精彩的報告。

總結一句，除了了解人工智慧領域的深度學習方法，這次讀書會的成員們也彼此吸收所知共同深度學習，實是收穫良多的一次讀書會!   9.    薛宜忻(大四專題生)    這次讀書會從開頭就直接直搗黃龍，在聽到老師問我們「深度學習」及「 器學習」的關係時，第一反應就是認為深度學習被包含在機器學習之中，然而老師卻提出了相反的觀點:機器學習屬於深度學習的一部分，因為深度學習世人去想、做出來，再藉由電腦去學習、跑，即是機器學習，因此照此觀念去想，其實我們在說明這兩部份時，應該是要從深度學習去說明。

           接著，學長姊們開始跟我們說明深度學習的重點與精華，對於開頭的哪張圖，真的覺得很有幫助，因為他讓我們一目瞭然，且在聽完他們的講解後，回去看那張圖，也可以複習、理解；因為學長姊們仔細研讀過，所以他們的講解比起看書讓我們更好了解深度學習。

           經過這次的讀書會，我更加了解了深度學習，也讓我對於不太懂得地方，能夠明白，整體下來，我再次感受到了老師所謂的系統思維，相信未來的讀書會，我一定也有更多的收穫。

  10.    黃子耘(大四專題生)    這是第一次參加讀書會。

由於之前上過老師的機率與統計與智能化數據解析課程，所以當得知有讀書會時，便自告奮勇地參加這次的讀書會。

       此次的讀書會，如同之前的課堂一樣，從老師的教導中得到不一樣的思維的啟發。

譬如在讀書會過程中，老師提出的一個問題：機器學習與深度學習兩者間的關係是什麼？是機器學習是屬於深度學習的一部分，還是深度學習是機器學習的一部分？這個問題，搜尋網路上的資料，其實都是闡述深度學習是機器學習的一部分，但是老師提出了不一樣的見解，認為機器學習是屬於深度學習的一部分，因為這些深度學習的構思以及細節都是倚靠人做出來的，我們只是透過機器來協助其中繁瑣的步驟程序。

這令我深思，也不禁令我感到驚艷。

       在準備讀書會報告時，老師在提點我們內容的不足，其根本原因是因為書中的細節部分作者輕描帶過，因此老師也教導著我們，書本的內容固然豐富，但書本是死的，總會有些含糊不清的地方，但是我們要懂得舉一反三，並且思考的更為周詳，這樣才會促使我們更為精進，而非照本宣科。

       因此，老師不但教導了我們書本的內容，更是開導了我們許多書本以外的東西，開拓了我們的思維，不但是經師，也是人師。

  u 總結        在此次讀書會中，發現上機實際操作書中部分理論的反響十分不錯，多數都認為上機有助於加深理論的印象，讓理論不流於死板。

因此之後的讀書會鼓勵報告的學生們能夠盡可能的找能實際操作的範例來給大家使用。

而開頭的ANN運作流程圖也統整了此次讀書會主題的大方向，讓聽者能更快理解目前報告內容大致上是在流程圖的哪個階段，相當符合桑慧敏老師提倡的系統性思維。

且因此次讀書會是有參考固定書目做為報告依據，因此報告的內容整體上更有系統性以及連接性。

  蘇品融/2019-11-10 2019-12-10 "古人云：三思而後行，今人云：深度學習"第三次讀書會心得記錄2019-11-26 "古人云：三思而後行，今人云：深度學習"第二次讀書會心得記錄2019-11-17 "古人云：三思而後行，今人云：深度學習"第一次讀書會心得記錄2019-11-10 Copyright©2007-2009NationalTsingHuaUniversityALLRIGHTSRESERVED 最佳解析度為1024*768或1280*1024 聯絡我們101,Section2,Kuang-FuRoad,Hsinchu,Taiwan30013,R.O.C.30013新竹市光復路二段101號代表號：03-5716200統一編號：46804804