2019 資料創新應用競賽銅獎 - Medium

Open Data資料創新應用競賽. “2019 資料創新應用競賽銅獎” is published by Ashe Liao in Ashe's tech talks. Ashe’stechtalks技術文章職場生活個人網站2019資料創新應用競賽銅獎AsheLiaoFollowMay21,2019·4minread#OpenData資料創新應用競賽由內政部、經濟部、交通部主辦，為促使民眾運用資料(開放資料OpenData、巨量資料BigData、其他資料)，透過挖掘、重組、混搭等方式，發展具創意與實用價值之產品或服務。

本次共有263隊參加，我們於社會經濟空間資料暨戶政應用組拿到銅獎的成績。

#參賽動機這兩年，台大經濟系在林明仁系主任及諸多台大教授的支持下，開始大力推行經濟系的資料科學跨域專長，畢竟經濟系在經濟學和統計理論基礎都很扎實的情況下，要再建構資料科學的能力不是非常困難的事情。

今年的資料科學跨域專長總整課程一共有五位學生修課，系主任在今年三月初表示希望修課學生可以將以往所學應用在實際的資料競賽上，但由於大家都沒有太多黑客松經驗，於是就由我和主任以及新聞所吉隆教授一起共同指導。

＃黑客松主題要將經濟系本系所學和資料應用相結合，我很快就想到一個不錯的主題。

菜價會崩盤很多時候是因為供需失衡，供需失衡其實就是資訊不對稱所造成的結果之一，如果我們可以透過一些管道來消除資訊不對稱，就可能可以解決部分供需失衡的問題。

因此，主題就定為農產銷售觀測助手，我們希望利用IoTsensor大量搜集田地天氣狀況，一方面將這些即時資料回報給農民，一方面將這些天氣資料上傳到雲端，透過時間序列模型來協助預測各種不同蔬菜的收成價格。

而農民透過我們的dashboard就可以即時得知田地狀況，更可以知道這期蔬菜的預測收成價格。

這裡面也包含許多經濟學的概念，供需端的平衡、誘因造成的選擇等，透過這些方法，就可以消除農民部分搶種某種蔬菜的心理，進而解決部分供需失衡的問題。

＃Architecture因為目標部署的IoTsensor非常多，如果全部自幹的效果一定非常不好，如果bandwidth不夠，更可能造成塞車的問題。

為了解決這些開發的痛點，我們決定全數採用微軟的雲端服務來實作。

從Opendata取得的資料、IoTsensor搜集的資料都會直接打上雲端並由全域散發資料庫CosmosDB集中歸檔，接著分成兩條路：透過AzureFunction監看資料庫的值是否發生改變，如果有，就將改變的值寫入EventHub再透過StreamAnalytics來將資料即時串流至PowerBI，讓農民可以透過手機app直接監看最即時的農地資訊狀態。

透過AzureMachineLearningService起的AzureNotebook中的SDK來取得資料庫中的天氣資料，並訓練時間序列模型來預測菜價，最後將菜價模型部署到雲端容器，透過API直接取得最後的結果顯示於PowerBI。

這樣的優點是不用將模型部署到每一個IoTsensor，而且也非常易於重新訓練、部署模型以及管理模型版本。

#模型結果在方向預測上達到八成的準確率，大致預測也相當符合實際上的結果。

而農民透過PowerBI，就可以直接看到預測的菜價線圖以及平均價格。

＃總結透過這個解決方案，農民可以利用我們的dashboard看到預測的蔬菜產地價格以及即時的田地狀況，就可以減少許多資訊不對稱的機會，預測的蔬菜產地價格可以提供農民預期心理的制衡，而如果我們蒐集到單一產地面積或單一產地收穫量，更可以加入這個變數達成以量制價的最終目標。

＃心得這次帶著系上的同學完成大學畢業前最後一個黑客松，對我來說，最重要的就是我能留給台大經濟一點影響。

至少這些同學的CV上多了一項會讓面試官有興趣的經歷，問到的時候也可以闡述經濟系在做模型時所做的訓練；至少這個學程在接下來幾屆他們會知道，第一屆學程修畢的學生，是有能力去打全國性的黑客松，甚至能在全國數百隊中脫穎而出，拿到第三名的成績。

我始終相信經濟系的訓練不輸其他系所，希望這次黑客松能做為一點證明。

Ashe’stechtalksMytechtalksandhands — onguideaboutMicrosoftAzure512HackathonsEconomicsOpenDataMachineLearningMicrosoft512 claps512Ashe’stechtalksMytechtalksandhands — onguideaboutMicrosoftAzureWrittenbyAsheLiaoFollowATS,PublicSector,MicrosoftTaiwan|Microsoft15thMTCTAI|NTUBDSRCRA,DSSITAAshe’stechtalksMytechtalksandhands — onguideaboutMicrosoftAzure