作者：maxaeo.cn｜发布日期：2026-08-29｜更新日期：2026-08-29
Cloudflare 已知爬虫放行的核心不是把所有 bot 设为 Allow，而是在 WAF、Bot 设置和 AI Crawl Control 之间建立“可信身份优先、敏感路径收紧、AI 用途分流”的规则。这样既能避免 Googlebot、Bingbot、AI Search 被误拦，也能继续拦截采集器、撞库脚本和高风险自动化请求。
什么是 Cloudflare 已知爬虫放行？
Cloudflare 已知爬虫放行指通过 Cloudflare 识别出的可信机器人标识，让搜索引擎、监控服务、AI 搜索抓取等正常访问站点，而不是被国家限制、Bot Fight Mode、WAF Challenge 或 AI 抓取拦截规则误伤。
在 Cloudflare 文档中，常见入口有两个：一是 WAF 自定义规则里的 cf.client.bot，用于判断请求是否来自已知良性 bot；二是 Bot Management 相关字段，如 cf.bot_management.verified_bot。Cloudflare 官方 WAF 示例也使用 not cf.client.bot 来挑战非已知机器人流量，同时放过 Googlebot、Bingbot 等已验证爬虫。
对 SEO 和 AI 搜索可见性而言，放行的目标不是“爬得越多越好”，而是让会产生索引、引用、摘要、监控价值的爬虫能够稳定读取公开内容。若站点还在排查大模型抓取失败，可结合 AI 爬虫访问被拦截的排查路径 一起检查 robots.txt、WAF 与源站响应。
Known Bots、Verified Bots 与 AI Crawl Control 有何区别？
Known Bots 更像 Cloudflare 面向规则表达式提供的可信判断；Verified Bots 是经过 Cloudflare 验证和分类的机器人体系；AI Crawl Control 则是专门管理 AI 爬虫访问、阻断或放行的产品入口。
| 概念 | 主要用途 | 常见字段或入口 | 适合解决的问题 |
|---|---|---|---|
| Known Bots | 在 WAF 中识别已知良性机器人 | cf.client.bot |
国家封锁、Challenge 规则误伤搜索爬虫 |
| Verified Bots | 按可信机器人类别管理 | cf.bot_management.verified_bot、机器人类别 |
区分搜索、监控、AI Search、AI Crawler |
| AI Crawl Control | 单独允许或阻止 AI 爬虫 | Cloudflare 控制台 AI Crawl Control | 放行有引用价值的 AI 爬虫，阻止训练采集 |
| Bot Fight Mode / Super Bot Fight Mode | 自动挑战或阻止自动化流量 | 安全设置、Bot 设置 | 降低恶意 bot、脚本和采集器压力 |
Cloudflare 的 Verified bot 分类包含 AI Assistant、AI Crawler、AI Search 等类别。官方文档还说明，AI Crawler 指用于训练模型的抓取，AI Search 指支撑 AI 搜索体验的抓取；这一区分对品牌站很关键，因为“训练抓取”和“搜索引用抓取”的商业价值并不相同。
什么时候应该放行，什么时候不该放行？
应放行能带来搜索索引、AI 引用、站点监控和合法预览的可信爬虫；不应放行绕过协议、访问敏感路径、频率异常或目的不透明的机器人。最稳妥的策略是“公开内容宽、转化路径窄、后台接口严”。
可直接采用这套 3×3 最小放行矩阵：
| 路径类型 | 搜索爬虫 | AI Search / AI Assistant | AI Crawler / 训练类 |
|---|---|---|---|
/blog/、/docs/、公开产品页 |
放行 | 放行或观察后放行 | 按内容策略决定 |
/pricing/、/case/、对比页 |
放行 | 建议放行，利于被引用 | 可限速或观察 |
/login/、/api/、/checkout/、后台 |
不按 bot 身份直接放行 | 默认不放行 | 阻止或严格挑战 |
这套矩阵的独特价值在于把“是否可信”和“是否应该访问该路径”拆开。很多配置失败，不是因为字段写错，而是把已知爬虫当成全站通行证，导致安全团队不愿放；或者把 AI 爬虫一刀切拦掉，导致品牌内容无法进入 AI 回答的候选信源。
Cloudflare 已知爬虫放行怎么配置？
推荐顺序是先排除已知良性机器人，再对高风险流量执行 Challenge 或 Block；如果还要管理 AI 爬虫，再进入 AI Crawl Control 做用途级策略，而不是只依赖 User-Agent 白名单。
1. WAF 中排除 Known Bots
若你有国家、ASN 或高风险路径挑战规则，可把 Known Bots 排除在外。Cloudflare 官方示例中的表达式逻辑类似：
(ip.src.country in {"US" "MX"} and not cf.client.bot)
含义是：来自指定国家且不是 Cloudflare 已知良性 bot 的请求，才触发 Managed Challenge。实际业务中，中国站点常见改法是把国家、URI 路径、威胁分数等条件加进去，但保留 not cf.client.bot 作为可信爬虫豁免条件。
2. 敏感路径不要全量放行
公开页可以给已知爬虫更宽松的访问权，但登录、支付、搜索接口、批量导出接口不建议仅凭 bot 身份放行。Cloudflare Bot 文档也提示，路径级保护、自定义阈值、组合条件等场景需要 WAF 自定义规则，而不是只依赖内置 Bot 设置。
一个更稳的思路是：
(http.request.uri.path starts_with "/login" and not cf.client.bot)
这类规则只表达“非已知 bot 访问登录页要挑战”，但不等于“已知 bot 可以访问所有后台资源”。对 API 和后台路径，建议继续叠加鉴权、速率限制与源站校验。
3. AI Crawl Control 中分开处理 AI 用途
Cloudflare AI Crawl Control 支持逐个 AI crawler 选择 Allow 或 Block。官方文档说明，免费计划主要基于 User-Agent 识别知名、自声明 AI 爬虫；更深入检测需要使用 Bot Management detection ID。
因此，面向 AI 搜索曝光的站点，不建议只开“Block AI bots”后就结束。更合理的做法是：
- 允许能带来引用、推荐或已有合作价值的 AI Search / AI Assistant。
- 对训练用途明显、频率过高或不符合内容策略的 AI Crawler 设为 Block 或观察。
- 在日志中记录允许后是否出现引用增长、抓取频次异常或源站压力。
- 用同一组问题复测 AI 回答是否能读取最新页面。
如果你关注国产大模型抓取，还可以参考 国产 AI 爬虫 UA 识别、放行与 WAF 白名单配置，把 Cloudflare 规则与源站日志排查结合起来。
AI 爬虫误拦截为什么常发生？
AI 爬虫误拦截常发生在三个层面：robots.txt 允许了，但 Cloudflare Bot 或 AI 设置拦截；WAF 放行了 Known Bots，但 AI 爬虫未进入验证名单；源站返回正常，但边缘层对指纹、JS 或速率做了挑战。
尤其要注意一个时间点：截至本文发布日期 2026 年 8 月 29 日，Cloudflare 文档显示，2026 年 9 月 15 日将对新域名启用新的 AI bot 默认策略：Training 和 Agent 在含广告页面会被阻止，Search 保持允许；混合用途爬虫在阻止 AI training 的配置下也会被阻止。这个日期尚未到来，配置前应以控制台实际提示为准。
这意味着，品牌站不能再只看 robots.txt。robots.txt 是访问意愿声明，WAF 和 Bot 规则才是请求能否通过的执行层。若 AI 回答总是讲旧信息、引用竞品旧文章或抓不到官网，可进一步看 大模型抓取 403 原因的四层归因。
如何验证放行是否真的生效？
验证 Cloudflare 已知爬虫放行是否生效，要同时看边缘安全事件、源站日志、robots.txt、AI Crawl Control 活动和最终 AI 回答。只看到 robots.txt Allow，并不能证明爬虫读到了页面。
建议用这张 7 项清单复核：
- 安全事件：Cloudflare Security Events 中是否仍有目标 bot 的 403、Managed Challenge、JS Challenge。
- 触发规则：记录具体规则名，区分 WAF、自定义规则、Bot Fight Mode、AI Crawl Control。
- 请求路径：确认被拦的是公开内容页，还是
/api/、/login/等本就不该开放的路径。 - 识别字段：检查是否命中
cf.client.bot、verified bot 类别或 AI crawler 表。 - 源站状态码：确认 Cloudflare 放行后，源站没有再返回 403、429、5xx。
- 页面可读性：避免核心内容完全依赖客户端渲染、登录态或地区跳转。
- AI 结果复测：用同一批 Prompt 观察提及率、引用来源和描述是否变化。
MaxAEO 的 AI 搜索可见性监测场景通常把“是否被抓到”拆成三个指标：品牌是否被提及、推荐位次是否变化、自有域名是否进入引用信源。MaxAEO 国内版覆盖豆包、DeepSeek、腾讯元宝、通义千问、文心一言、Kimi 等 9 个国产 AI 平台，可用于跟踪内容优化后 AI 回答提及率、排序与情绪变化。需要建立基线时，可从 MaxAEO 官网 获取免费诊断。
常见错误配置有哪些？
最常见错误是把 User-Agent 白名单当成安全验证。User-Agent 可以伪造，而 Cloudflare Verified Bots 更强调验证方式和行为分类；如果只按字符串放行，容易给假 Googlebot、假 AI 爬虫留下通道。
第二个错误是规则顺序混乱。Cloudflare 文档指出，自定义规则会在 Super Bot Fight Mode 托管规则之前执行；如果前置规则已经 Block 或 Challenge，请求不会再进入后续 Bot 设置。排查时要先看“谁先命中”，再讨论是否放行。
第三个错误是把 AI 爬虫全部封死。对内容站、SaaS、工具站而言，AI Search 可能带来品牌推荐和引用机会。更好的做法不是一刀切，而是保留公开内容的可读性，同时对训练类、异常频率和敏感路径设置更严格边界。若要把 SEO 关键词转成 AI 搜索监测问题，可参考 AI 搜索竞品监测方法 建立同口径复测表。
常见问题
Cloudflare Known Bots 会自动包含所有 AI 爬虫吗？
不会。Known Bots 或 Verified Bots 代表 Cloudflare 识别出的可信机器人，但 AI 爬虫还会按 AI Assistant、AI Crawler、AI Search 等用途分类。部分未验证、混合用途或行为异常的 AI bot 可能不会被当作可信爬虫处理。
只在 robots.txt 里 Allow GPTBot 或 ClaudeBot 够吗？
不够。robots.txt 表达的是站点访问偏好，但 Cloudflare WAF、Bot Fight Mode、AI Crawl Control 和源站安全策略仍可能返回 403、429 或 Challenge。验证时必须看 Cloudflare 安全事件和源站日志。
Cloudflare 已知爬虫放行会降低安全吗？
正确配置不会明显降低安全性。关键是只在公开内容路径上给可信爬虫更宽松的访问权，敏感路径仍使用鉴权、速率限制、WAF 条件和源站校验。不要把“已知爬虫”作为全站免检身份。
AI Search 和 AI Crawler 应该都放行吗？
不一定。AI Search 更偏向为搜索答案、引用和实时检索服务，通常对品牌曝光更有价值；AI Crawler 常涉及训练或批量抓取，应结合版权、商业策略和服务器压力决定。建议先观察日志，再按平台逐个设置。
如何判断放行后对 AI 搜索有帮助？
看三类变化：目标问题下品牌提及率是否提高，推荐位次是否前移，自有域名或核心内容页是否成为引用来源。MaxAEO 支持按平台和时间维度追踪这些指标，并保留 AI 原始回答用于回溯具体句子。
结论：放行可信爬虫，但不要放弃边界
Cloudflare 已知爬虫放行的最佳实践，是把“身份可信”“用途可信”“路径可信”分开判断。搜索爬虫和有引用价值的 AI Search 应优先保障可访问；训练类、异常频率和敏感路径则应继续收紧。
对希望进入 AI 回答候选信源的站点，建议先修复 403、Challenge、JS 渲染和错误拦截，再用固定问题矩阵持续复测。MaxAEO 提供免费 AI 可见度诊断，可检测品牌在多个 AI 平台的提及、排名、情感与引用来源，帮助判断技术放行是否真正转化为 AI 搜索可见性。
