Cloudflare 推出 Disallow AI Training：搜索可见与拒绝 AI 训练可兼得

这是什么：一句话说清身份

2026年9月15日，Cloudflare 发布了一个叫 Disallow AI Training 的新设置。它由 Cloudflare 开发，是一项网站爬虫管理功能，属于闭源服务，官方未说明是否开源。它能做什么？让网站主可以继续被搜索引擎找到，同时拒绝同一个爬虫用网站内容去训练 AI。打个比方：就像一家商店允许路人进来看看招牌和橱窗，但不允许有人把店里的商品拍照拿去仿造。

这个设置不是单独卖的产品，而是 Cloudflare 现有 Bot Management 和 AI Crawl Control 功能的一部分。网站主不需要写代码，在 Cloudflare 后台选一下就行。苹果、谷歌、微软已经承诺或已经支持这个设置，所以网站主的选择会被尊重。

为什么以前必须二选一

以前，有些大公司的爬虫是“混合用途”的：同一个爬虫既帮搜索引擎建立索引，又帮 AI 训练收集内容。网站主如果拒绝它，就连搜索收录也一起拒绝了；如果允许它，就等于允许 AI 训练。这就像一个人既送快递又发广告，你不想收广告，但拒绝他就连快递也收不到了。

Cloudflare 的数据显示，不到 1% 的网站选择屏蔽搜索爬虫，但有 17% 的网站选择某种方式阻止训练。这说明大多数网站主想要被搜索到，但不想被拿去训练 AI。以前没有精细控制，只能一刀切，所以 Cloudflare 决定推出更细的选项。

Disallow AI Training 怎么工作

这个设置会在网站的 robots.txt 文件里发布一条“禁止训练”的偏好。robots.txt 就像贴在门口的告示，告诉爬虫“这里欢迎什么、不欢迎什么”。但光有告示不够，因为有些爬虫可能假装没看见。Cloudflare 作为网络层，能识别谁在爬、为什么爬，然后阻止那些不听话的爬虫，并在 Radar 上报告每个运营商的实际行为。

具体来说，Cloudflare 把爬虫行为分成三类：Search（搜索）、Training（训练）、Agent（代理）。Disallow AI Training 只针对 Training，不影响 Search 和 Agent。对于遵守规则的混合用途爬虫，比如苹果、谷歌、微软的爬虫，它们仍然可以搜索，但不能训练。对于只做训练的爬虫，比如亚马逊、Anthropic、Meta、OpenAI 的训练爬虫，会被直接阻止，而且不影响搜索。

Accountable 认证是什么

Cloudflare 创建了一个叫 Accountable 的认证，用来标记那些尊重网站主选择的爬虫运营商。要获得这个认证，运营商必须满足或承诺满足几个条件：提供退出 AI 训练的机制；提供退出 AI 摘要的机制；提供 URL 级别的可见性，让网站主知道哪些页面被用于训练；保证退出训练不会影响传统搜索结果。

苹果、谷歌、微软都符合 Accountable 认证。它们有的已经具备这些能力，有的给出了明确的时间承诺。这意味着网站主可以放心：选择 Disallow AI Training 后，这些公司的搜索爬虫还会来，但不会拿内容去训练。其他不满足条件的训练爬虫会被阻止。

Block 设置变了，别选错

从 9 月 15 日起，原来的 Block 和 Block on pages with ads 设置现在也适用于混合用途爬虫，包括 Applebot、Bingbot 和 Googlebot。也就是说，如果你选 Block，这些爬虫就完全不能访问你的网站，搜索收录也会受影响。如果你只想阻止训练、保留搜索，应该选 Disallow AI Training。

原来的“Block AI Bots”设置会被弃用，换成更细的 Search、Training、Agent 控制。Managed Robots.txt 也会被弃用，迁移到新的 Bot Preference Sync。对于老用户，Cloudflare 会自动迁移设置：以前选 Block AI 的，现在会变成 Allow 搜索、Disallow AI Training 训练；以前选 Block 的，现在会变成 Block 搜索和训练。你几乎不需要做任何操作，除非你想让混合用途爬虫完全消失，那就得手动选 Block。

适合谁用，有什么限制

这个功能适合所有在 Cloudflare 上管理网站的网站主，尤其是靠广告、订阅或直接访问赚钱的网站。因为广告收入需要真人看到页面，而 AI 训练用答案替代了访问，代理抓取页面时也没有人看广告。所以对广告支持的网站，Cloudflare 会推荐更严格的预设配置。对普通博客、企业官网，也可以用它来保护内容不被免费拿去训练。

限制方面：Disallow AI Training 只对 Training 有效，不能用来禁止 Agent；目前也没有针对 Agent 的 Disallow 设置，因为行业标准还不成熟。另外，这个设置依赖爬虫运营商遵守 robots.txt 和 Cloudflare 的网络层阻止。如果某个爬虫完全不遵守规则，Cloudflare 可以阻止它，但无法改变它的行为。AI 摘要的控制功能还在开发中，预计明年年初推出，目前只能通过运营商单独设置。

怎么核验和下一步

网站主可以登录 Cloudflare 后台，在 Bot Management 或 AI Crawl Control 里查看当前设置。如果你不确定，可以检查 robots.txt 是否发布了禁止训练的偏好，也可以看 Radar 报告，了解哪些爬虫被允许、哪些被阻止。Cloudflare 建议新域名在注册时选择预设配置，广告支持的网站会得到更严格的默认值。

未来，Cloudflare 计划让网站主控制内容在 AI 摘要中出现多少，设置一次就能对所有运营商生效，而不是每家单独设置。这个目标在明年年初实现。目前，网站主可以先使用 Disallow AI Training 来平衡搜索可见性和 AI 训练拒绝，不需要再二选一。