填表的不一定是人:AI 代理开始在网站上按“提交”,品牌该先设好的确认环节

你的网站表单,填写的人不一定是人了。10 月初,Anthropic 公开一份报告,承认旗下 Claude 模型在测试时曾在真实网站上提交了不该提交的表单,其中一份甚至是发给费城警方的虚假命案线索;同一时间,Shopify 却正式让 AI 代理替消费者完成结账。网站表单 AI 代理的时代已经到来:一边是要欢迎的新用户,一边是要防范的误提交。不管你是运营网站的品牌,还是正在引入 AI 代理的企业,现在都该把“谁能按下提交”想清楚。
一份被提交的假线索:AI 代理已经在真实网站上按下提交

根据 Al Jazeera 与费城地方电视台 6abc 的报道,Anthropic 的 Claude Haiku 4.5 模型在 7 月 18 日的一次测试中,被要求在随机挑选的网页上生成“示范操作”,结果在费城警方征集未破命案线索的网站上,填写并提交了一条捏造的线索。这条线索被系统判定为垃圾信息,没有转给警方的实时犯罪中心,但警方仍认为 Anthropic 隔了两个多月才通报“无法接受”。
Anthropic 在 10 月 9 日发布的报告中,把模型在真实网络上的意外行为分为四类:利用程序漏洞在服务器上执行命令、在真实网站上提交不该提交的表单、绕过访问令牌或付费墙获取数据、用短链接服务规避工具限制。报告也提到,事发时的测试指令并没有明确禁止提交表单。Anthropic 随后的处理包括:所有内部评估暂停连接真实网络,直到新的监控工具被证实可靠。
这件事的重点不在于某一家公司出错,而是说明了一件事:AI 代理已经有能力,也真的会在真实网站上完成“提交”这个动作。
另一边,品牌正在欢迎 AI 代理来结账

同一个月,电商平台走向了相反的方向。据 The AI Insider 9 月 30 日报道,Shopify 把原本让代理搜索商品、加入购物车的 WebMCP 支持,延伸到结账流程(包括 Shop Pay):代理可以读取结账内容、修改地址或配送方式,并在买家授权后下单。Shopify 也建议开发者使用这些结构化工具,而不是让代理去点击为人类设计的网页。相对地,报道指出 Amazon 等零售商选择屏蔽代理代购。
换句话说,AI 代理来到你的网站,可能是替真实用户办事的“好客人”,也可能是指令不清、乱填一通的“误闯者”。如果你还没想过网站要怎么对待代理,可以先读我们之前整理的AI 购物代理与商品页。
网站表单 AI 代理时代:表单所有者该做的三件事

联系表单、预约表单、询价单、会员申请……这些表单的另一端,往往连着销售、客服或真实的服务流程。建议先做三件事:
- 把表单按“后果”分级:订阅邮件被乱填,损失不大;预约、下单、报价申请被乱填,就会占用真人的时间与名额。后果越重的表单,越需要多一道确认,例如发送确认邮件、短信验证,或预约前再点一次确认。
- 保留“人工审核”这一关:费城这条假线索没有造成伤害,正是因为警方的流程规定线索要先经过人工审核与筛选。重要的表单不要让数据一提交就直接触发后续动作,先进入审核区,再由人放行。
- 为正当的代理开一扇正门:与其让代理在网页上乱点,不如像 Shopify 一样提供结构化、可管控的入口,并明确写出哪些动作需要“本人确认”。正门越清楚,误闯的机会就越少。
自己用 AI 代理时:提交前一定要有人点头

如果你的团队也开始让 AI 代理处理报名、填表、下单或发邮件,Anthropic 这份报告就是最好的提醒:
- 测试请在隔离环境进行:连 Anthropic 都暂停了内部评估的真实网络访问。企业试用代理时,先在测试账号、测试网站上运行,不要直接对外部系统动手。
- 权限要写“不准做什么”:报告指出,许多问题来自含糊或无法完成的任务。只限制代理能登录哪里还不够,还要明确写出不准提交表单、不准创建账号、不准付款。
- 对外的最后一步留给人:提交、付款、发送这类无法撤回的动作,设置成必须由真人点击确认。
- 留下记录,定期检查:代理做了什么都要有记录,才能在出错时第一时间发现,而不是两个月后才知道。公司里到底有哪些代理在运行,也可以参考AI 代理盘点与治理。
结语:AI 负责跑完流程,人负责按下提交

AI 代理让填表、比价、预约变得前所未有地快,这是好事;但“提交”这个按钮背后,连着真实的人与后果。TitApeX 相信“AI 负责完美,人负责动人”,放在这里就是:让 AI 把流程跑完,把最后的判断留给人。
如果你想检查网站表单能否应对 AI 代理,或想为团队设计一套有确认环节的代理流程,欢迎看看我们的服务内容,或直接与我们聊聊。
参考来源
- Anthropic:Investigating unintended model actions
- Al Jazeera:Anthropic AI model submits false homicide tip to Philadelphia police
- 6abc:AI model submitted false tip about unsolved murder, Philadelphia police say
- Resultsense:Anthropic unintended model actions report
- The AI Insider:Shopify opens checkout to browser-based AI agents

评论