當 AI 開始自己找漏洞、修程式，我們真的準備好放手了嗎？

以前我們擔心 AI 不夠聰明，做不好交代的事情。

但現在 AI 已經能自己找漏洞、驗證問題，甚至提出修正方案。

突然覺得，接下來真正需要思考的，好像不只是 AI 能幫我們做多少事，而是：

當 AI 越來越有能力，我們真的準備好把決定權交給它了嗎？

一、文章重點

AI 找漏洞成本值得嗎？OpenAI 揭單次執行「Token 成本 121 萬美元」

www.technice.com.tw/issues/ai/330106/（在新分頁開啟）

1. AI 不只是寫程式的助手了！ OpenAI 利用大量 AI Agent 協作，針對 Linux 核心進行資安檢測，找出 2,308 個潛在漏洞，其中 948 個案例經過驗證，確認具有安全風險。

2. 整個過程花了約 121 萬美元。 雖然成本不低，但也展現了 AI 在大型資安檢測上的潛力。至於實際效益，還是得看漏洞的重要程度及後續修補成果。

3. AI 不只會找問題，還能協助修正。 從漏洞分析、驗證到產生修補程式，都能透過 AI 協作完成，但最後仍需要人工審核。

二、個人心得

看完這篇其實滿有感的！

這也讓我想到自己這段時間在研究 AI Agent、n8n 自動化，以及開發 MOVA 量化交易系統的過程。

一開始比較在意的是怎麼讓 AI 幫我完成更多事情、減少重複工作，後來慢慢發現，真正困難的不是讓 AI 做事，而是怎麼確認它做的事情是對的。

尤其當 AI 開始串接不同系統，甚至擁有實際執行權限時，一個小小的判斷錯誤，就可能影響後面整串流程。

看到這裡，也讓我想起前面佳圻分享的文章：

當 AI 發展速度超越人類的控制能力｜林佳圻

meetnuva.com/articles/p-mw98qtmr03x0（在新分頁開啟）

當時就滿認同他提到的觀點，AI 不一定要因此放慢發展，但安全機制也應該跟著進步。

原本覺得這比較像未來才需要面對的問題，但看到這次 OpenAI 的實際應用，突然發現這些挑戰其實已經離我們不遠了。

有時候不是 AI 太聰明而失控，而是我們還沒想好怎麼管理，就已經開始把越來越多事情交給它。

三、延伸思考

現在已經有不少多 AI Agent 協作的做法，例如一個負責寫程式、一個負責測試，另一個負責檢查安全性。

但這也讓我想到：

如果 AI 可以自己寫程式、自己測試、自己修正錯誤，那誰來確認負責檢查的 AI 沒有出錯？

即使多個 AI 互相驗證，也可能同時忽略相同的問題。

這也讓我重新思考佳圻文章提到的 AI Alignment（AI 對齊）。

以前覺得這是大型 AI 公司才需要研究的議題，但其實我們平常開發 AI Agent 時，也會遇到相關問題。

像是 AI 有沒有正確理解需求？執行過程會不會偏離目標？出錯時能不能及時停止？

其中不只涉及 AI 對齊，也包含權限管理與系統風控。

這些恐怕不是單純把 Prompt 寫得更完整，就能完全解決的。

四、個人觀點

回到一開始的問題：

當 AI 越來越自主，我們應該限制它的能力，還是限制它能夠行使的權限？

我覺得兩者不衝突，但自己會比較傾向後者。

畢竟 AI 能力越強，可以解決的問題越多，但不代表就應該擁有越大的執行權限。

就像我在開發 MOVA 量化交易系統時，可以讓 AI 協助分析市場、研究策略，但真正涉及資金操作，還是需要明確的風控規則、權限限制與緊急停止機制。

當然，對於本身就可能造成重大風險的 AI 能力，也不能只靠限制權限，仍需要嚴格測試與評估。

我覺得真正重要的，不是期待 AI 永遠不會犯錯，而是當它犯錯時，我們有沒有能力阻止錯誤繼續擴大。

所以，如果問我現在準備好完全放手了嗎？

我的答案是：還沒有，也不需要急著完全放手。

以前我們努力學習怎麼讓 AI 做更多事，未來或許更需要學習的是，怎麼讓 AI 知道哪些事情可以自己做，哪些事情必須停下來。

讓 AI 持續突破能力的邊界，但不能讓它輕易突破我們設定的安全邊界。

這也是我目前在研究 AI Agent 與自動化時，越來越重視的方向。

最後也想問問大家：

如果未來 AI 的判斷真的比人類更準確，你會願意把更多決策權交給它嗎？還是覺得有些事情，無論 AI 多厲害，都應該保留人類最後的決定權？XD