跳至主要內容

文章

很多人卡住的不是 AI,是資料還沒準備好:用三個夥伴的需求,示範資料工程怎麼解決「AI 幫不上忙」的問題

薯條 @anton發布於 已編輯

大家好,我是薯條。 我現在正在進修資料工程領域
最近在論壇上讀了很多夥伴分享的「想學什麼、卡在哪裡」,讀著讀著,發現好幾段話都很眼熟:

「搜集、檢視數據非常花時間。」
「工具之間串不起來,很多步驟還是得手動匯出匯入。」
「股市資訊太龐雜,想讓 AI 幫我過濾,還能自動更新。」
「知道可以萬事問 AI,但不知道實際可以拿來做什麼。」

這些話表面上在說 AI,但我越看越覺得,
很多人卡住的地方,其實不是 AI 不夠聰明,而是資料還沒準備好。
而「把資料準備好」,剛好就是資料工程每天在做的事。
所以這篇我不講理論,想直接拿三位夥伴的需求當例子,示範一個我覺得很好用的方法,
我叫它:

#先想上桌,再去買菜

先想清楚「最後想看到什麼畫面」,再一步一步往回推,資料該從哪裡來、要怎麼整理、多久跑一次。

推完,流程就長出來了,問題就解決了。

00|先用一句話理解「資料流程」

資料流程有點像煮一道菜:

買菜 → 洗切 → 放冰箱 → 時間到了開火 → 上桌

換成資料的說法就是:

抓資料 → 整理乾淨 → 存起來 → 定時自動跑 → 變成報表、通知,或交給 AI 解讀

工程師把前三步叫 ETL(Extract 擷取、Transform 轉換、Load 儲存)

大部分人一開始只想著「上桌」那一步,也就是 AI 最後寫出來的漂亮回答。但真正花時間、也最容易出錯的,通常是前面「洗切」那一段。

01|案例一:名單一直對不起來的行銷人

他遇到的狀況

各個工具都會用,CRM、EDM 系統、專案看板,甚至基本的自動化也都設得起來。但一串在一起就開始亂,很多步驟還是要手動匯出匯入,每週光維護名單、追成效就要 4 個小時。他最想要的,是縮短這一段的過程。

先想終點畫面

我幫他想的終點不是「全自動、零錯誤」,因為這很難做到。 比較實際的終點是:

每週一打開一張表,裡面只有「這週有問題的名單」,其他的都已經自動處理好了。

錯誤不會消失,但錯誤全部集中在一個地方、一眼看完。4 小時縮成 30 分鐘,關鍵就在這裡。

往回推:名單原本長什麼樣子?

實際的名單通常是這樣(示意資料):

Amy@Gmail.com|0912-345-678|FB
amy@gmail.com|+886912345678|facebook
ben@|02 2345 6789|官網

仔細看會發現:Amy 其實是同一個人,只是被記了兩次;電話寫法不一樣;來源一個寫 FB、一個寫 facebook;Ben 的 email 根本不完整。

這些人工看得出來,但自動化工具看不出來。它只會老老實實地把 Amy 當成兩個人,寄兩封一樣的信給她。

所以要先定好幾條「整理規則」

email 一律改成小寫,用 email 判斷「這是不是同一個人」
電話統一成 09 開頭的寫法
來源統一名稱,FB、facebook 都叫 Facebook
同一個人只留一筆
有問題的名單不要刪掉,移到「待處理表」,並寫清楚是哪裡有問題

整理完就變成:

amy@gmail.com|0912345678|Facebook|✅ 已同步
ben@|0223456789|官網|⚠️ email 不完整

再接上後面的工具

表單/廣告名單
↓ 新名單進來就觸發(Make、n8n 這類串接工具)
整理規則(上面那 5 條)
↓ 通過 ↓ 不通過
CRM(唯一正本) 待處理表 + 通知(Slack/Email)
↓ 依興趣自動貼標
EDM 系統觸發對應的信
↓
專案看板更新進度

我覺得最重要的三個小原則
① 只留一本正本 名單以 CRM 為準,其他工具都跟著 CRM 同步。不要讓三個工具各自保存一份名單,否則一定會對不上。

② 重跑一次也不會出事 自動化難免要重跑。規則要設計成「已經有這個人就更新,沒有才新增」,這樣重跑也不會寄兩封信。工程上叫它「冪等性」,名字很硬,意思其實很簡單。

③ 錯誤要講人話 「同步失敗」沒有人看得懂。「第 3 筆,Ben 的 email 不完整,卡在整理階段」,一看就知道要怎麼處理。

02|案例二:每次看數據都很花時間的行銷企劃

她遇到的狀況

執行行銷專案時,光是搜集、檢視數據就花掉很多時間,而且手邊沒有其他案例可以比較,不知道現在的數字算好還是壞。她希望 AI 能幫忙提升效率。

先想終點畫面

每週一收到一封信:這週每個渠道花了多少錢、帶來多少轉換、跟過去比起來是好是壞,最後附上三句 AI 寫的重點。

往回推:AI 要寫得出重點,前面要準備什麼?

我在這裡學到一件事,想把它取個名字:

AI 放最後一棒

AI 很擅長「看懂整理好的數字,寫成人話」,但不擅長「從五個後台把數字抓齊、對齊」。 所以前面幾棒要交給資料流程:

從 GA4 抓網站流量和轉換,時間記得用台灣時區
從 Meta、Google 的廣告後台抓花費和點擊,渠道名稱和幣別要統一
各平台的活動名稱要取一樣的,不然對不起來

再來是她最卡的「沒有案例可以比較」

這點我覺得最有意思:

把每週的結果存下來,你自己的過去,就是最好的比較對象。

存了三個月之後,AI 就能寫出這樣的解讀:

「這週 Facebook 每拿到一個轉換要花 300 元,比過去 12 週的平均貴了 25%,Google 則維持穩定。可以檢查一下 Facebook 這週新換的素材。」

沒有歷史資料,AI 只能給一般性的建議;有了你自己的歷史資料,它才講得出跟你有關的判斷。

03|案例三:想讓 AI 幫忙過濾股市資訊的學習者

他遇到的狀況

一直想學投資,但股市資訊很龐雜,每個人的見解都不一樣。他希望 AI 幫忙過濾資訊,還能主動更新財報和金融消息。但他也很老實地說:現在完全沒頭緒,只知道可以萬事問 AI,不知道實際能拿來做什麼。

先想終點畫面

每天收盤後,手機收到一則訊息:我關注的 5 檔股票,今天有什麼值得注意的變化。沒事的話,就不要吵我。

往回推:什麼叫「值得注意」?

這一步最常被跳過,但它才是整個流程的關鍵。

AI 不知道你覺得什麼重要,這要由你自己先講清楚。 例如:

單日漲跌超過 5%
月營收比去年同期成長超過 20%
公布了新的財報或重大訊息

規則講清楚了,AI 才知道要幫你過濾什麼。

資料從哪裡來?

台灣其實有很多公開資料可以用,例如證交所的 OpenAPI、公開資訊觀測站,還有 FinMind 這類整理好的開放資料平台;新聞則可以用各家新聞網站的 RSS。

組起來就是這樣

每天下午 3 點自動開始 ↓ 抓 5 檔股票的股價、營收和新聞 ↓ 套用「值得注意」的規則 ↓ 沒有觸發 → 結束,不打擾你 ↓ 有觸發 → AI 整理成三句話 → 推播到 LINE 或 Email

一個額外的好處

每天抓下來的資料都存著,半年後你就有一份自己的資料庫。之後想學股票預測、想做期中期末報告,這份整理好的歷史資料就是最好的起點。

預測模型再厲害,沒有乾淨的歷史資料也做不出來。

(這是整理資訊的工具,不是投資建議喔。)

04|三個案例,其實都在回答同樣五個問題

寫完三個案例回頭看,我發現它們用的是同一套順序:

  1. 最後想看到什麼畫面? 一張問題名單、一封週報、一則通知。
  1. 畫面上要算出什麼? 哪些名單有問題、每個轉換花多少錢、有沒有觸發規則。
  1. 需要哪些資料?從哪裡來? 表單和 CRM、廣告後台、證交所和新聞。
  1. 資料要怎麼整理? 去掉重複、統一格式、對齊日期和名稱。
  1. 多久跑一次?出錯了怎麼辦? 名單進來就跑、每週跑、每天收盤後跑;出錯了就集中通知。

從第 1 題開始往下回答,資料流程就自己長出來了。

05|老實說,不是每個需求都是資料工程

論壇上也有一些需求,重點其實不在資料:

想用 AI 拆解目標、改掉拖延,這比較接近提示詞設計和習慣養成
想做一個什麼都能幫忙的 AI 私人秘書,這是 AI agent 的題目,資料只是其中一塊
想用 AI 串起開源專案的分工,比較偏專案管理和工具整合

不過我發現一個小規律:只要需求裡出現「搜集」「整理」「自動更新」「串接」「比較」這幾個詞,背後通常就有一條資料流程要先蓋好。

結語|AI 很會上菜,但菜要先洗好

如果要把這篇濃縮成一句話,大概是:

先想好終點,再倒著把資料準備好,AI 才幫得上忙。

如果想自己動手試試看:

不寫程式的話,可以用 Make、n8n 這類串接工具,加上 Google Sheets 當作存放的地方
會一點 Python 的話,用排程定時跑抓資料的程式,存進資料庫
不管哪一種,都先從最小的開始:一個資料來源、一張表、一則通知,跑順了再慢慢加

最後也想問問大家:

你現在最想交給 AI 的那件事,它的「終點畫面」長什麼樣子?

歡迎在留言分享,我也想練習用這個方法,幫大家一起倒著推推看 🙌

1 個愛心1 則留言

登入並驗證手機後就能留言。登入

留言

  1. 上哲 @nuva.ceo

    俗話說「以終為始」,如果能知道最後要去哪裡的話,在過程中才有辦法不斷地去矯正自己做的每一個選擇。

    就好比今天在飛機飛行的過程中,其實它一直都會偏離原本預計行駛的軌道,但為什麼最後都能抵達?因為它在不斷地修正!