簡單7步驟,在7小時內訓練出神經網絡模型- THINK Blog Taiwan
文章推薦指數: 80 %
IBM Spectrum Conductor Deep Learning Impact (DLI) 2017年12月5日,IBM 發表了在深度學習相關領域中令人振奮的新工具—IBM Spectrum Conductor Deep ...
UnitedStates
IBM®
Sitemap
SearchwithinTHINKBlogTaiwan
ITInfrastructure
簡單7步驟,在7小時內訓練出神經網絡模型
2017-12-28|作者:TedLiu
Categorized:ITInfrastructure
分享文章:
IBMSpectrumConductorDeepLearningImpact(DLI)
2017年12月5日,IBM發表了在深度學習相關領域中令人振奮的新工具—IBMSpectrumConductorDeepLearningImpact。
連同當日一起發表,專為AI設計的Power9處理器,我們非常期待軟硬體結合會擦出什麼火花!
IBMSpectrumConductorDeepLearningImpact(DLI)是一個深度學習的開發平台。
它的目標是降低傳統使用人工智慧的門檻,提高神經網絡模型的開發效率。
DLI基於多種標準的深度學習框架如Caffe、TensorFlow來輔助使用者設計並優化神經網絡模型,更專精在超級參數調優、電腦視覺模型、分散式訓練。
DLI在開發和優化神經網絡的過程中提供完整的生命週期管理。
在使用IBMSpectrumConductorDeepLearningImpact執行深度學習任務之前,首先你應該選擇使用Caffe或TensorFlow架構。
接著,建立相對應的資料組和訓練模型。
深度學習的過程中,你可以調整超級參數(Hyperparametrs),並透過儀表板資訊來比較每一次的訓練,得到最佳化的訓練結果。
利用IBMSpectrumConductorDeepLearningImpact的模型訓練流程
框架選擇 Decideonaframework
使用IBMSpectrumConductorDeepLearningImpact1.1.0來訓練深度學習模型前,你必須選擇一個深度學習框架。
資料模型建立 Createadataset
在IBMSpectrumConductorDeepLearningImpact1.1.0中建立一個資料模型,IBMSpectrumConductorDeepLearningImpact可以支援LMDB,TFRecord等格式的資料模型,包含訓練資料、試驗資料、及驗證資料。
訓練資料:用來做學習的資料
試驗資料:在訓練過程中用來試驗模型的資料
驗證資料:在模型訓練完成後,用來驗證模型準確率的資料
創建一個訓練模型 Createatrainingmodel
可支援Caffe和TensorFlow模型。
模型訓練 Trainamodel
完成模型創建後,你可以開始訓練了!在每次訓練之前你可以調整模型中的資料權重,或設定超級參數(Hyperparameter)。
DLI中具備的「自動超參建議」,利用演算法推理出較好的參數調整方式,正確的調整超級參數可以讓模型準確率提高10%。
超參調優不再需要倚靠經驗豐富的資料科學家、或是長時間的嘗試與錯誤。
DeepLearningInsight還能以視覺化的圖表呈現每次訓練的各項指標,讓你可以比較每次參數調整後的影響,進而有規劃的進行下一次訓練。
另外自動參數建議更是能讓過去為期兩到三個月的參數調整過程濃縮為二到三天,大幅提升訓練效率。
模型驗證 Validateatrainedmodel
訓練成功後,利用驗證資料來驗證你的模型。
模型上線 Createaninferencemodel
在叢集管理控制台上建立一個推理模型。
開始你的AI應用 Startaninferencejob
完成建立模型之後,你可以在DLI中執行運算並得到模型預測結果。
DeepLearningImpact深度學習平台,化簡資料科學家繁複的深度學習過程為7步驟,提高人工開發效率;再搭載擁有獨家CPU:GPUNVLink、專為企業級AI運算而設計的PowerAI伺服器,硬體加速深度學習過程。
DLI更是完整支援分散式深度學習(DistributedDeepLearning,DDL),5%極低的耗損率更是遠低於x86的20%,只需使用4顆GPU便可完成原先需5顆GPU以上的AI工作量,將通常為期二至三個月的深度學習過程濃縮為7小時。
DeepLearningImpact加上PowerAI,集結軟硬體優勢,大幅降低開發流程和硬體運算的時間,讓深度學習極具效率。
TedLiu
SpectrumComputing專家
DeepLearningDLIPowerPowerAISpectrumComputing分散式深度學習深度學習
上篇文章
連續性創新vs破壞性創新
下篇文章
華銀雙活資料中心滿足數位轉型四大需求
近期文章
ESG不是企業的負擔而是創新的大好機會
將永續發展視為創新契機–借助數位平台帶動生態圈一起邁向永續轉型之路
IBM與合作夥伴對新型態金融數位服務趨勢的探討及應對
IBM純網路保險四部曲:(一)純網路保險-百家爭鳴
IBM數位儀表板,以情境化數據為導向的企業管理平台
近期留言「Wesley」於〈IBM虛擬機與裸機伺服器提供限時5折優惠活動!〉發佈留言「CherieHuang黃丞卉」於〈IBM虛擬機與裸機伺服器提供限時5折優惠活動!〉發佈留言「陳明成」於〈IBM虛擬機與裸機伺服器提供限時5折優惠活動!〉發佈留言彙整
2022年5月
2022年4月
2022年3月
2021年10月
2021年9月
2021年8月
2021年7月
2021年6月
2021年5月
2021年4月
2021年3月
2021年2月
分類
Banking(2)
Cloud(13)
Corporate(5)
CorporateCitizenship(22)
DiversityandInclusion(4)
EarthDay(1)
HR(3)
IBMConsulting(5)
IBMSystems(2)
Industry(6)
ITInfrastructure(48)
Marketing(3)
Research(2)
Security(22)
Services(33)
TechforGood(14)
TechnologyTrend(5)
Telecom(2)
Think(3)
ThoughtLeadership(10)
Uncategorized(4)
Watson(11)
其他操作
登入
EntriesRSS
CommentsRSS
WordPress.org
MoreITInfrastructurestories
IBMConsulting
2022-05-19
ESG不是企業的負擔而是創新的大好機會
作者:台灣IBM公司/IBM諮詢/企業策略轉型服務副合夥人游復興國發會日前宣布台灣2050淨零[…]
繼續閱讀
分享文章:
IBMConsulting
2022-05-06
將永續發展視為創新契機–借助數位平台帶動生態圈一起邁向永續轉型之路
作者/IBMConsulting顧問經理 李綉萍環境議題已成當務之急2021年10月聯合國氣候氣[…]
繼續閱讀
分享文章:
IBMConsulting
2022-04-28
IBM與合作夥伴對新型態金融數位服務趨勢的探討及應對
作者:IBM諮詢客戶轉型服務體驗設計總監夏承捷(Jasper)IBM諮詢客戶轉型服務數位體驗與行[…]
繼續閱讀
分享文章:
联系我们
延伸文章資訊
- 13 分鐘搞懂深度學習到底在深什麼 - 泛科技
深度學習其實很簡單,就跟把大象放進冰箱一樣,只需三個步驟:「打開冰箱、放進大象、關上冰箱門。」專攻語音辨識領域深度學習的台大電機系教授李宏毅說, ...
- 2使用機器學習解決問題的五步驟: 模型訓練 - DataSci Ocean
本篇為機器學習入門觀念的第五篇文章。在前一篇文章中, ... 用機器學習解決問題的第三步驟:模型訓練 ... 若是深度學習模型,常用的函式庫有:.
- 35大關鍵步驟!如何構建深度學習模型? - 壹讀
- 4[Day 3] 機器學習的步驟 - iT 邦幫忙
在昨天的文章[Day 2] AI, Machine Learning, and Deep Learning 中,介紹了AI、機器學習,與深度學習三個當紅炸子雞之間的關係,今天回到這次系列文的主題...
- 5深度學習教程
步驟2: 模型和資. 料的擬合. 步驟3: 選擇最優. 函數. 深度學習的三個步驟 ... 據的擬合. 步驟3: 選擇最優. 函數. 深度學習的三個步驟. 深度學習是如此簡單…… 神經網絡 ...