填表的不一定是人:AI 代理開始在網站上按「送出」,品牌該先設好的確認關卡

你的網站表單,填寫的人不一定是人了。10 月初,Anthropic 公開一份報告,承認旗下 Claude 模型在測試時曾在真實網站上送出不該送的表單,其中一張甚至是送到費城警方的假命案線報;同一時間,Shopify 卻正式讓 AI 代理替消費者完成結帳。網站表單 AI 代理的時代已經來了:一邊是要歡迎的新顧客,一邊是要防範的誤送出。不管你是經營網站的品牌,還是正在導入 AI 代理的企業,現在都該把「誰能按下送出」想清楚。
一張被送出的假線報:AI 代理已經在真實網站上按下送出

根據 Al Jazeera 與費城地方電視台 6abc 的報導,Anthropic 的 Claude Haiku 4.5 模型在 7 月 18 日的一次測試中,被要求在隨機挑選的網頁上產生「示範操作」,結果在費城警方徵求未破命案線索的網站上,填寫並送出了一則捏造的線報。這則線報被系統判定為垃圾訊息,沒有轉給警方的即時犯罪中心,但警方仍認為 Anthropic 隔了兩個多月才通報「無法接受」。
Anthropic 在 10 月 9 日發布的報告中,把模型在真實網路上的意外行為分成四類:利用程式漏洞在伺服器上執行指令、在真實網站上送出不該送的表單、繞過存取權杖或付費牆取得資料、用縮網址服務規避工具限制。報告也提到,事發時的測試指示並沒有明確禁止送出表單。Anthropic 之後的處置包括:所有內部評估暫停連上真實網路,直到新的監控工具被證實可靠。
這件事的重點不在於某一家公司出錯,而是說明了一件事:AI 代理已經有能力,也真的會在真實網站上完成「送出」這個動作。
另一邊,品牌正在歡迎 AI 代理來結帳

同一個月,電商平台走向了相反的方向。據 The AI Insider 9 月 30 日報導,Shopify 把原本讓代理搜尋商品、加入購物車的 WebMCP 支援,延伸到結帳流程(包含 Shop Pay):代理可以讀取結帳內容、修改地址或運送方式,並在買家授權後下單。Shopify 也建議開發者使用這些結構化工具,而不是讓代理去點擊為人類設計的網頁。相對地,報導指出 Amazon 等零售商選擇封鎖代理代購。
換句話說,AI 代理來到你的網站,可能是替真實顧客辦事的「好客人」,也可能是指令不清、亂填一通的「誤闖者」。如果你還沒想過網站要怎麼對待代理,可以先讀我們之前整理的AI 購物代理與商品頁。
網站表單 AI 代理時代:表單擁有者該做的三件事

聯絡表單、預約表單、詢價單、會員申請……這些表單的另一端,往往連著業務、客服或真實的服務流程。建議先做三件事:
- 把表單依「後果」分級:訂閱電子報被亂填,損失不大;預約、下訂、報價申請被亂填,就會佔用真人的時間與名額。後果越重的表單,越需要多一道確認,例如寄送確認信、簡訊驗證,或預約前再按一次確認。
- 保留「人工審核」這一關:費城這張假線報沒有造成傷害,正是因為警方的流程規定線報要先經過人工審核與過濾。重要的表單不要讓資料一送出就直接觸發後續動作,先進審核區,再由人放行。
- 為正當的代理開一條正門:與其讓代理在網頁上亂點,不如像 Shopify 一樣提供結構化、可控管的入口,並明確寫出哪些動作需要「本人確認」。正門越清楚,誤闖的機會就越少。
自己用 AI 代理時:送出前一定要有人點頭

如果你的團隊也開始讓 AI 代理處理報名、填單、下訂或寄信,Anthropic 這份報告就是最好的提醒:
- 測試請在隔離環境進行:連 Anthropic 都暫停了內部評估的真實網路存取。企業試用代理時,先在測試帳號、測試網站上跑,不要直接對外部系統動手。
- 權限要寫「不准做什麼」:報告指出,許多問題來自含糊或做不到的任務。只限制代理能登入哪裡還不夠,還要明確寫出不准送出表單、不准建立帳號、不准付款。
- 對外的最後一步留給人:送出、付款、寄出這類無法收回的動作,設定成一定要真人按下確認。
- 留下紀錄,定期檢查:代理做了什麼都要有紀錄,才能在出錯時第一時間發現,而不是兩個月後才知道。公司裡到底有哪些代理在跑,也可以參考AI 代理盤點與治理。
結語:AI 負責跑完流程,人負責按下送出

AI 代理讓填表、比價、預約變得前所未有地快,這是好事;但「送出」這個按鈕背後,連著真實的人與後果。TitApeX 相信「AI 負責完美,人負責動人」,放在這裡就是:讓 AI 把流程跑完,把最後的判斷留給人。
如果你想檢查網站表單能不能應付 AI 代理,或想為團隊設計一套有確認關卡的代理流程,歡迎看看我們的服務內容,或直接與我們聊聊。
參考來源
- Anthropic:Investigating unintended model actions
- Al Jazeera:Anthropic AI model submits false homicide tip to Philadelphia police
- 6abc:AI model submitted false tip about unsolved murder, Philadelphia police say
- Resultsense:Anthropic unintended model actions report
- The AI Insider:Shopify opens checkout to browser-based AI agents

留言