Member-only story

講者：Connor | 資料工程師 ＠日本 SmartNews

在日本看見資料科學工程的趨勢

從資料科學家看到資料工程的價值，選擇適合比趨勢更重要。

活動主辦單位： Taiwan Data Science Meetup 台灣資料科學社群

大綱

在資料科學裡 Senior 經驗的 Connor 分享如何從台灣走到不同國家擔任資料科學家和資料工程師，討論走進資料科學該如何選擇方向，以及如何選擇公司；新創或大公司，並分享日本與台灣的資料科學工作環境差異。

1. 哪種AI資料科學工作適合我？
2. 資料科學領域該選新創公司還是大公司開始？
3. 常見資料科學工程的工作內容與解決方案
4. 日本 VS 台灣資料資料工作環境

講者介紹

Connor ( leafwind )

曾任職於 Appier 軟體工程師，參與廣告預測模型開發、資料工程、後端；後來到了日本 SmartNews 參與資料工程平台開發。跟專業有關的興趣是寫作分享資料科學/工程的各種大小事。

講者工作經歷

十年前就開始接觸 AI，然而當 AI 紅了之後 Connor 反而選做工程，為什麼？了解原因前，說明一下關於 AI 資料科學家的歷程。

Source: https://i.am.ai/roadmap/>

AI 專家的歷程可以分成從資料科學家、深度學習工程師、或者大數據工程師開始，Connor 在機械學習的資料科學家崗位數年後，發現數據工程其實佔了十分重要的位置，加上有 PM 、Scrum、領導經驗後，決定專注在大數據工程領域。

新創那些事

在新創產業開始的資料工程師歷程，以及常見面臨的問題與解決方針。

資料科學的理想與現實的經驗，瞭解為何資料工程未來會越來越重要。

一條龍的全端資料科學家/ 一人資料科學團隊

《資料科學角色光譜圖》

額外閱讀 資料科學的職稱分類演進 by Connor

草創期：

1. 從頭開始：看資料、收集資料（沒資料什麼都是假的）

2. 最快能動的可行方案

• 主要資訊轉化成 Features: domain knowledge => feature engineering （把 raw data 轉換成 features 的整個過程的總稱）
• 從基本模組 rule based (decision tree, statistical history)
• 如果最後還有時間的話才會花時間在評估模型，更多時候看的是線上成效

3. 進入優化循環

• 一邊實驗新模型，一邊收技術債 （關於技術債額外資訊可以看 Q&A 精選）

理想的分工：