Cloudflare 推出 Verified bots 持续问责系统：让爬虫信任随时间积累

这套系统是什么？谁做的？什么时候发布的？

2026年10月16日，Cloudflare 发布了一套名为 Verified bots 持续问责系统的新功能。Cloudflare 是一家提供网站加速和安全保护的公司，很多网站都用它来挡住坏机器人。这套系统是 Cloudflare 自己开发的，属于闭源服务，官方没有说明会不会开源。它能做什么呢？简单说，它会观察那些已经通过身份验证的爬虫，看它们是不是乖乖遵守网站定下的规矩，然后给它们打一个信任分。就像老师不仅看学生有没有戴校牌，还要看他平时是否遵守课堂纪律来慢慢给出操行评分。

为什么需要这套系统？光验证身份不够吗？

Cloudflare 在文章里打了一个比方：驾照能告诉你一个人是谁、他通过了驾驶考试，但不能保证他以后开车一定守规矩。机器人也一样，验证了身份只代表它说自己是某个爬虫，不代表它接下来会做好事。一个已知的爬虫仍然可能忽略网站的偏好、把网站压垮，或者绕过控制。有时候不是故意的，可能只是配置错了或者有程序漏洞。

所以 Cloudflare 想回答两个问题：第一，“你是不是你自称的那个人？”第二，“我们能信任你吗？”第一个问题靠 Web Bot Auth 签名和 BotBase 目录来解决，第二个问题就需要这套新系统来持续观察。

信任和风险有什么不一样？

文章特别区分了风险和信任。风险说的是某一次请求或某个时刻的行为可能造成伤害的可能性，它随时会变。信任则是通过长时间反复、一致的行为慢慢建立起来的。比如 Cloudflare 在2025年就把 Perplexity 的爬虫从 Verified bot 名单里移除了，因为它去访问那些明确表示不希望被爬取的网站，被挡住之后还试图绕过控制。

这个例子说明，一次坏行为就可能毁掉长期积累的信任。新系统要做的，就是持续记录爬虫的表现，而不是只看它一开始的身份证明。

系统具体看哪些信号？

目前系统主要看两个信号。第一个是：爬虫是否遵守指令？网站通常用 robots.txt 文件告诉爬虫哪些地方可以爬、哪些不可以。系统会检查爬虫的实际访问记录是否和网站公布的偏好一致。偶尔一次违规可能不算什么，但如果反复出现无视网站偏好的行为，就会影响信任评分。

第二个信号是：爬虫是否回应直接反馈？当网站觉得请求太多时，可以回复一个 HTTP 429 状态码，意思是“请求太多了，请慢一点”。系统会观察爬虫收到这个信号后有没有减速、暂停，还是继续以同样的速度发请求。持续减速或暂停会增加信任，反复无视则会降低信任。

信任等级是怎么形成的？

Cloudflare 把观察结果转化成一个“可解释的信任等级”，也就是一个范围，显示这个爬虫有多稳定地尊重网站偏好，以及是哪些观察到的行为影响了这个评估。它不是对爬虫或其运营者的永久判决，而是一个随时间变化的动态评分。

文章说，他们已经在内部使用这套系统来评估 Verified bot 遵守网站偏好的情况。因为信任是慢慢建立的，所以他们看的是持续的模式，而不是孤立的事件。目前这个阶段是在积累历史数据，并改进如何把这些观察变成有用的指导。

未来会怎么发展？对谁有用？

Cloudflare 计划未来在 Radar 上公开这些评分，并扩展测量方式。他们还计划让所有 Cloudflare 客户都能使用这套系统，客户可以自己选择信任阈值来决定怎么处理 Verified bot 的流量。这套系统和 Bot Preference Sync、Bot Management 一起，形成一个自动流量的问责闭环。

对网站所有者来说，这能让他们更有信心地允许那些值得信任的爬虫访问。对爬虫运营者来说，这是一个证明自己值得信任的途径。对普通用户来说，网站被爬虫压垮的情况可能会减少，访问体验更稳定。

有什么限制和还不清楚的地方？

目前这套系统还在内部使用阶段，没有对所有客户开放。官方没有说明具体的开放时间、定价方式、信任等级的具体阈值范围，也没有说明评分算法的详细技术实现。另外，robots.txt 只设定了最低规则，不代表没写的就是允许的，网站还可以通过其他信号表示不欢迎继续访问。

还有一个重要限制：这套系统只针对 Cloudflare Verified bots，也就是已经通过身份验证的爬虫。那些没有验证身份的爬虫不在这个系统的评估范围内。所以它解决的是“已知爬虫是否守规矩”的问题，而不是“如何识别未知爬虫”的问题。