Python 財報月報股價爬蟲,台股資料庫終極解決之道! - FinLab
文章推薦指數: 80 %
不過要是你在學校,可以用TEJ 可以下載到資料,但是所謂的「達人方案」也需要每月8888 ,能 ... 所以為了打造一個最好用的 Python 回測系統,只好先從資料庫開始了。
Skiptocontent
Tags:finlab量化平台教學,PYTHON
下載資料不要再涓涓細流,每一檔股票慢慢下載,每一天重複慢慢等待,現在是5G的時代,大數據這個名詞也已經用到爛,偏偏台股這種小數據,蒐集起來大費周章,不合理吧?今天就來解決這個問題。
內容目錄
隱藏
1
財經資料庫比較
1.1
CMoeny貓頭鷹
1.2
TEJ資料庫
1.3
坊間Python教學
1.4
FinMind
1.5
資料庫的掙扎
2
FinLab:從今天起,你有不同的選擇
財經資料庫比較
假如我告訴你,請找一款Package可以讓你徜徉在資料海之中,比較市面上的股票資料庫,你可能會找到以下幾個:
CMoeny貓頭鷹
CMoney數據貓頭鷹,之前好像還可以用,但是好像已經沒有在開發了,API檔案裡面,所謂的「服務網站」好像沒有公開(或關閉了),所以不知如何使用。
TEJ資料庫
不過要是你在學校,可以用TEJ可以下載到資料,但是所謂的「達人方案」也需要每月8888,能不能讓你發發發發,就不確定了。
坊間Python教學
查看部落格教學來下載,像是2016年,我開始在網路上分享的時候,也是先介紹怎麼寫不同的爬蟲,流量也都滿好的,因為大家都想知道怎麼抓資料,但是抓下來後,網站改版爬蟲壞掉要修改?要怎麼整裡儲存?抓下來的資料要如何串接回測?這些都非常瑣碎,導致很多人停留在這個階段就已經放棄了。
FinMind
當前最好的解決方案,是跟FinLab名字很像的FinMindPackage,秉持著開放的精神,讓你免費使用600次request,每小時,其實已經很佛心了!但是台股有2000檔股票,代表你注定一小時沒辦法下載所有資料了。
就算付費會員,資料下載下來,要怎麼合併整裡儲存,也是一番功夫呀。
資料庫的掙扎
我當初想要建構一個回測平台,資料庫希望可以跟別人合作,但是資料庫廠商很保守,「這些資料要做什麼用的呢?」「你是要對外使用嗎?」「你先說你需要哪些資料,我們再來估價看看喔!」。
對他們來講,資料是公司命脈,當然需要謹慎把關,商品本來就是要拉高價格,以提升毛利率。
但對我來講,這些公開資料,應該是開放的,易取得的,可分享的。
假如大家都是想要賣資料庫,就注定了Python理財無法大眾化,因為大部分都卡死在資料處理這一關了,沒有一個好的資料庫,再好的回測系統也是枉然。
FinLab:從今天起,你有不同的選擇
2000檔股票、15年資料,一次下載,一勞永逸,一行打趴!
所以為了打造一個最好用的Python回測系統,只好先從資料庫開始了。
我們真的也是花了非常多心力在做這個資料庫上,上百則條目,包含上市櫃興櫃的股價財報月報、三大法人、集保庫存,你想得到的幾乎都有啦。
但如何讓大家「最快」的拿到「大量」資料,並且將伺服器「傳輸成本降到最低」?用SQL資料庫都絕對無法達成,所以我們連資料庫都一併重寫。
就算我們手上已經有很多爬蟲,但我跟Ben還是經歷了將近一年的調整,終於做出了像樣的資料庫。
最近還新增了加密貨幣的資料和回測,持續更新中。
這個市面上最好用的資料庫,只是為了回測而順便打造的!簡單說,這只是前菜,主餐還在後面!好的Package,不需要多解釋,只是要兩行即可說明:
fromfinlabimportdata
data.get('price:收盤價')
接下來一系列,會帶你瞭解FinLabPackage的好用之處!歡迎到FB粉專追蹤我們,才不會錯過接下來的內容喔!或是頁面又上方註冊Email,有新的文章就會提醒你。
覺得我們的文章有幫助到您,就把它分享給身邊的人吧!
Sharethiscontent
Opensinanewwindow
Opensinanewwindow
Opensinanewwindow
Opensinanewwindow
FinLab-韓承佑
嗨大家好,我是韓承佑,FinLab創辦人,畢業於巴黎薩克雷大學資工博士,目前擔任臺灣量化交易協會學術顧問、台北商業大學創新育成中心創業技術顧問與上市科技公司量化交易顧問。
當初,我喜歡寫程式、無意間因為軟體比賽接觸Fintech,從此開始了財經跟程式的學習之路。
我們成立FinLab量化投資部落格,用自己研發的軟體,對台灣股市做大量快速的實驗。
希望可以在量化投資的路上,當大家的「武器製造商」!
YouMightAlsoLike
用Python投資加密貨幣:如何投資加密貨幣(Part8)
2020-07-20
利用MachineLearning選股新手教學
2020-07-22
用Python投資加密貨幣:手機監控與自動下單(Part12)
2020-07-20
投資組合PaperTrading1分鐘就上手–Cmoney大富翁股票API教學
2020-07-21
本益比選股策略|產業因子分析
2021-09-23
用Python投資加密貨幣:交易策略訊號實做(Part3)
2020-07-20
如何用Python獲得上市上櫃股票清單?
2020-07-22
Python新手教學(Part5):如何衡量風險與報酬?夏普比率告訴你
2020-07-22
每週收到新知識
只要有新文章,立刻用Email通知你
加入
Emailisrequired
Emailisnotvalid
Thanksforyoursubscription.
Failedtosubscribe,pleasecontactadmin.
關於網站
FinLab財經實驗室
股票如何選擇?要怎麼學習量化投資?財報、技術指標如何看?FinLab利用股票分析、財經python教學,讓你在在茫茫股海中,找到專屬於自己的投資方法。
Facebook粉絲專頁
FinLabYouTube頻道
Opensinanewtab
近期文章
FRED總體經濟指標輕鬆抓|美國汽車指標|美股回測外掛教學
2022-05-25/
0Comments
融資融券主力板塊|Treemap延伸應用|DashBoard製作教學(4)
2022-05-22/
0Comments
Plotly-多重圖組|融資維持率|DashBoard製作教學(3)
2022-05-18/
0Comments
文章分類
AI看股票(17)
FinLabYouTube(4)
Python新手教學(21)
PYTHON財經(13)
Uncategorized(3)
加密貨幣(18)
基本面分析(20)
大盤漲跌(10)
實價登入(3)
技術面(16)
投資新手(5)
生產力(12)
籌碼面(7)
股票策略(23)
財報狗分析(5)
財經PYTHON教學(47)
選股策略(27)
量子電腦(1)
Python理財入門課程Python理財進階課程Python加密貨幣實戰課程
延伸文章資訊
- 1第一次用TEJ就上手
設定好所需資料,. 點選「匯出」快捷. 鍵,即可將資料匯. 出至EXCEL。 註:. 匯出的檔案為暫存檔,. 需將檔案另存新檔。
- 2[心得] 台灣經濟新報(TEJ) - 看板Finance - 批踢踢實業坊
... 評等跟其他信評公司比較不同TEJ的信評是主動式,所有上市公司都會評,評等時大部分是用公開資訊跟其他會出去拜訪公司的不太一樣就是了信評跟評價 ...
- 3Python 財報月報股價爬蟲,台股資料庫終極解決之道! - FinLab
不過要是你在學校,可以用TEJ 可以下載到資料,但是所謂的「達人方案」也需要每月8888 ,能 ... 所以為了打造一個最好用的 Python 回測系統,只好先從資料庫開始了。
- 4管院常用資料庫:TEJ 臺灣經濟新報(FAQ 常見問題集)
Q2: 如果在家裡,可以連線使用TEJ+ 嗎? 答:只要您是台大現職教職員生,設定好VPN 校外連線,在家裡也可以使用TEJ+ 喔。 請先確認TEJ+ 已安裝成功,點 ...
- 5台灣經濟新報(TEJ), Author at StockFeel 股感
台灣經濟新報(TEJ)為台灣本土第一大財金資訊公司,成立於1990 年,專門提供金融市場基本分析所需資訊,以及信用風險、市場風險、資產評價、投資分析及公司治理分析等 ...