文章
很多人卡住的不是 AI,是資料還沒準備好:用三個夥伴的需求,示範資料工程怎麼解決「AI 幫不上忙」的問題
薯條 @anton發布於 已編輯
大家好,我是薯條。 我現在正在進修資料工程領域
最近在論壇上讀了很多夥伴分享的「想學什麼、卡在哪裡」,讀著讀著,發現好幾段話都很眼熟:
「搜集、檢視數據非常花時間。」
「工具之間串不起來,很多步驟還是得手動匯出匯入。」
「股市資訊太龐雜,想讓 AI 幫我過濾,還能自動更新。」
「知道可以萬事問 AI,但不知道實際可以拿來做什麼。」
這些話表面上在說 AI,但我越看越覺得,
很多人卡住的地方,其實不是 AI 不夠聰明,而是資料還沒準備好。
而「把資料準備好」,剛好就是資料工程每天在做的事。
所以這篇我不講理論,想直接拿三位夥伴的需求當例子,示範一個我覺得很好用的方法,
我叫它:
#先想上桌,再去買菜
先想清楚「最後想看到什麼畫面」,再一步一步往回推,資料該從哪裡來、要怎麼整理、多久跑一次。
推完,流程就長出來了,問題就解決了。
00|先用一句話理解「資料流程」
資料流程有點像煮一道菜:
買菜 → 洗切 → 放冰箱 → 時間到了開火 → 上桌
換成資料的說法就是:
抓資料 → 整理乾淨 → 存起來 → 定時自動跑 → 變成報表、通知,或交給 AI 解讀
工程師把前三步叫 ETL(Extract 擷取、Transform 轉換、Load 儲存)
大部分人一開始只想著「上桌」那一步,也就是 AI 最後寫出來的漂亮回答。但真正花時間、也最容易出錯的,通常是前面「洗切」那一段。
01|案例一:名單一直對不起來的行銷人
他遇到的狀況
各個工具都會用,CRM、EDM 系統、專案看板,甚至基本的自動化也都設得起來。但一串在一起就開始亂,很多步驟還是要手動匯出匯入,每週光維護名單、追成效就要 4 個小時。他最想要的,是縮短這一段的過程。
先想終點畫面
我幫他想的終點不是「全自動、零錯誤」,因為這很難做到。 比較實際的終點是:
每週一打開一張表,裡面只有「這週有問題的名單」,其他的都已經自動處理好了。
錯誤不會消失,但錯誤全部集中在一個地方、一眼看完。4 小時縮成 30 分鐘,關鍵就在這裡。
往回推:名單原本長什麼樣子?
實際的名單通常是這樣(示意資料):
Amy@Gmail.com|0912-345-678|FB
amy@gmail.com|+886912345678|facebook
ben@|02 2345 6789|官網
仔細看會發現:Amy 其實是同一個人,只是被記了兩次;電話寫法不一樣;來源一個寫 FB、一個寫 facebook;Ben 的 email 根本不完整。
這些人工看得出來,但自動化工具看不出來。它只會老老實實地把 Amy 當成兩個人,寄兩封一樣的信給她。
所以要先定好幾條「整理規則」
email 一律改成小寫,用 email 判斷「這是不是同一個人」
電話統一成 09 開頭的寫法
來源統一名稱,FB、facebook 都叫 Facebook
同一個人只留一筆
有問題的名單不要刪掉,移到「待處理表」,並寫清楚是哪裡有問題
整理完就變成:
amy@gmail.com|0912345678|Facebook|✅ 已同步
ben@|0223456789|官網|⚠️ email 不完整
再接上後面的工具
表單/廣告名單
↓ 新名單進來就觸發(Make、n8n 這類串接工具)
整理規則(上面那 5 條)
↓ 通過 ↓ 不通過
CRM(唯一正本) 待處理表 + 通知(Slack/Email)
↓ 依興趣自動貼標
EDM 系統觸發對應的信
↓
專案看板更新進度
我覺得最重要的三個小原則
① 只留一本正本 名單以 CRM 為準,其他工具都跟著 CRM 同步。不要讓三個工具各自保存一份名單,否則一定會對不上。
② 重跑一次也不會出事 自動化難免要重跑。規則要設計成「已經有這個人就更新,沒有才新增」,這樣重跑也不會寄兩封信。工程上叫它「冪等性」,名字很硬,意思其實很簡單。
③ 錯誤要講人話 「同步失敗」沒有人看得懂。「第 3 筆,Ben 的 email 不完整,卡在整理階段」,一看就知道要怎麼處理。
02|案例二:每次看數據都很花時間的行銷企劃
她遇到的狀況
執行行銷專案時,光是搜集、檢視數據就花掉很多時間,而且手邊沒有其他案例可以比較,不知道現在的數字算好還是壞。她希望 AI 能幫忙提升效率。
先想終點畫面
每週一收到一封信:這週每個渠道花了多少錢、帶來多少轉換、跟過去比起來是好是壞,最後附上三句 AI 寫的重點。
往回推:AI 要寫得出重點,前面要準備什麼?
我在這裡學到一件事,想把它取個名字:
AI 放最後一棒
AI 很擅長「看懂整理好的數字,寫成人話」,但不擅長「從五個後台把數字抓齊、對齊」。 所以前面幾棒要交給資料流程:
從 GA4 抓網站流量和轉換,時間記得用台灣時區
從 Meta、Google 的廣告後台抓花費和點擊,渠道名稱和幣別要統一
各平台的活動名稱要取一樣的,不然對不起來
再來是她最卡的「沒有案例可以比較」
這點我覺得最有意思:
把每週的結果存下來,你自己的過去,就是最好的比較對象。
存了三個月之後,AI 就能寫出這樣的解讀:
「這週 Facebook 每拿到一個轉換要花 300 元,比過去 12 週的平均貴了 25%,Google 則維持穩定。可以檢查一下 Facebook 這週新換的素材。」
沒有歷史資料,AI 只能給一般性的建議;有了你自己的歷史資料,它才講得出跟你有關的判斷。
03|案例三:想讓 AI 幫忙過濾股市資訊的學習者
他遇到的狀況
一直想學投資,但股市資訊很龐雜,每個人的見解都不一樣。他希望 AI 幫忙過濾資訊,還能主動更新財報和金融消息。但他也很老實地說:現在完全沒頭緒,只知道可以萬事問 AI,不知道實際能拿來做什麼。
先想終點畫面
每天收盤後,手機收到一則訊息:我關注的 5 檔股票,今天有什麼值得注意的變化。沒事的話,就不要吵我。
往回推:什麼叫「值得注意」?
這一步最常被跳過,但它才是整個流程的關鍵。
AI 不知道你覺得什麼重要,這要由你自己先講清楚。 例如:
單日漲跌超過 5%
月營收比去年同期成長超過 20%
公布了新的財報或重大訊息
規則講清楚了,AI 才知道要幫你過濾什麼。
資料從哪裡來?
台灣其實有很多公開資料可以用,例如證交所的 OpenAPI、公開資訊觀測站,還有 FinMind 這類整理好的開放資料平台;新聞則可以用各家新聞網站的 RSS。
組起來就是這樣
每天下午 3 點自動開始 ↓ 抓 5 檔股票的股價、營收和新聞 ↓ 套用「值得注意」的規則 ↓ 沒有觸發 → 結束,不打擾你 ↓ 有觸發 → AI 整理成三句話 → 推播到 LINE 或 Email
一個額外的好處
每天抓下來的資料都存著,半年後你就有一份自己的資料庫。之後想學股票預測、想做期中期末報告,這份整理好的歷史資料就是最好的起點。
預測模型再厲害,沒有乾淨的歷史資料也做不出來。
(這是整理資訊的工具,不是投資建議喔。)
04|三個案例,其實都在回答同樣五個問題
寫完三個案例回頭看,我發現它們用的是同一套順序:
- 最後想看到什麼畫面? 一張問題名單、一封週報、一則通知。
- 畫面上要算出什麼? 哪些名單有問題、每個轉換花多少錢、有沒有觸發規則。
- 需要哪些資料?從哪裡來? 表單和 CRM、廣告後台、證交所和新聞。
- 資料要怎麼整理? 去掉重複、統一格式、對齊日期和名稱。
- 多久跑一次?出錯了怎麼辦? 名單進來就跑、每週跑、每天收盤後跑;出錯了就集中通知。
從第 1 題開始往下回答,資料流程就自己長出來了。
05|老實說,不是每個需求都是資料工程
論壇上也有一些需求,重點其實不在資料:
想用 AI 拆解目標、改掉拖延,這比較接近提示詞設計和習慣養成
想做一個什麼都能幫忙的 AI 私人秘書,這是 AI agent 的題目,資料只是其中一塊
想用 AI 串起開源專案的分工,比較偏專案管理和工具整合
不過我發現一個小規律:只要需求裡出現「搜集」「整理」「自動更新」「串接」「比較」這幾個詞,背後通常就有一條資料流程要先蓋好。
結語|AI 很會上菜,但菜要先洗好
如果要把這篇濃縮成一句話,大概是:
先想好終點,再倒著把資料準備好,AI 才幫得上忙。
如果想自己動手試試看:
不寫程式的話,可以用 Make、n8n 這類串接工具,加上 Google Sheets 當作存放的地方
會一點 Python 的話,用排程定時跑抓資料的程式,存進資料庫
不管哪一種,都先從最小的開始:一個資料來源、一張表、一則通知,跑順了再慢慢加
最後也想問問大家:
你現在最想交給 AI 的那件事,它的「終點畫面」長什麼樣子?
歡迎在留言分享,我也想練習用這個方法,幫大家一起倒著推推看 🙌
1 個愛心1 則留言
登入並驗證手機後就能留言。登入