作者：maxaeo.cn｜发布日期：2026-08-29｜更新日期：2026-08-29
Cloudflare AI 访问例外规则不是“关掉防护让 AI 随便抓”，而是把可带来引用、推荐或实时检索价值的 AI 机器人，在指定路径、指定动作、指定验证条件下放行，同时继续拦截训练型、异常型和攻击型流量。
什么是 Cloudflare AI 访问例外规则？
Cloudflare AI 访问例外规则指在 Cloudflare 的 WAF、自定义规则、Bot 设置或 AI Crawl Control 中，为特定 AI 爬虫、AI 搜索机器人或实时检索机器人设置放行、跳过、限速或路径例外。
它解决的是一个常见矛盾：网站希望被 ChatGPT、Perplexity、Claude、豆包、DeepSeek 等 AI 引擎理解和引用，但又不希望关闭 WAF、Bot Fight Mode 或反爬策略。Cloudflare 官方文档说明，自定义规则可用表达式匹配请求，并执行 Block、Managed Challenge 或 Skip 等动作；部分 Block 动作会停止后续规则继续执行，因此规则顺序非常关键，可参考 Cloudflare WAF 自定义规则文档。
什么时候需要设置 AI 访问例外？
需要例外规则的典型场景是：robots.txt 已允许抓取，但 AI 工具仍提示无法访问；AI 搜索里竞品被引用，你的网站却长期缺席；或日志中出现 GPTBot、ClaudeBot、Bytespider 等请求被 403、挑战页或 Bot Fight Mode 拦截。
不要因为一次抓取失败就全站放开。更稳妥的判断标准是看三类证据：
| 证据 | 说明 | 处理方向 |
|---|---|---|
| WAF 事件 | 命中 Managed Challenge、Block、Bot Fight Mode | 调整规则顺序或 Skip 范围 |
| 访问日志 | AI UA 请求核心内容页返回 403/503 | 对公开内容路径放行 |
| AI 答案结果 | 品牌未被提及或引用旧页面 | 配合内容和信源优化 |
如果你还不确定是 robots.txt、WAF 还是源站问题，可先按 AI 爬虫访问被拦截排查指南 做分层定位。
三闸门框架：比“全放行”更安全
安全的 AI 放行应经过三道闸门：身份闸门、路径闸门、动作闸门。这套框架的价值在于，它把“能不能抓”拆成“谁来抓、抓哪里、遇到什么防护要跳过”。
1. 身份闸门：区分训练爬虫与实时检索机器人
不是所有 AI bot 都值得同等放行。训练型爬虫通常用于大规模内容采集；实时检索型机器人更可能服务用户当下提问，并带来引用或访问价值。
可按以下优先级处理：
- 优先放行：实时检索、搜索增强、明确带来引用价值的机器人。
- 谨慎限速：抓取频繁但能产生搜索曝光的机器人。
- 默认阻断：伪装 UA、异常高频、无来源说明的爬虫。
Cloudflare 的 Bot 设置中包含 Block AI bots、Verified bots、Super Bot Fight Mode 等能力，官方也提示内置设置会随新 bot 特征自动更新；但路径级、组合条件和特殊业务逻辑仍需要 WAF 自定义规则处理。
2. 路径闸门：只放公开内容，不放敏感入口
AI 访问例外应首先限定路径。官网首页、产品页、定价页、文档页、博客页、llms.txt、robots.txt 可以进入候选范围；登录、支付、后台、搜索接口、表单提交、API 写入端点不应因为 AI 抓取而放开。
推荐路径策略：
允许候选：/、/blog/、/docs/、/pricing、/robots.txt、/llms.txt
继续保护：/login、/admin、/api/、/checkout、/account、/wp-login.php
如果你正在配置面向大模型的说明文件，也可以结合 llms.txt 模板与配置指南 让 AI 更快理解哪些页面值得读取。
3. 动作闸门：用 Skip 或 Allow，而不是关掉全部安全功能
很多误配置来自“为了让 AI 抓到，把 Bot Fight Mode、WAF、速率限制全部关闭”。更稳妥的做法是只对匹配条件执行 Skip，且只跳过会误伤 AI 抓取的安全功能。
示例思路如下，实际字段以你的 Cloudflare 套餐和控制台可用项为准：
如果：
- User-Agent 属于可信 AI 检索机器人
- 请求路径属于公开内容目录
- 请求方法为 GET 或 HEAD
那么：
- 跳过 Bot Fight Mode 或特定 Managed Challenge
- 不跳过 SQLi、XSS、RCE 等核心 WAF 防护
这能保证 AI 读取公开内容，同时保留对攻击载荷、异常方法和敏感路径的拦截。
规则顺序为什么会导致“明明 Allow 还是 403”？
Cloudflare 规则按执行顺序生效，前置 Block 可能让后面的 Allow 或 Skip 没有机会执行。AI Crawl Control 也会与 WAF 自定义规则发生先后关系，因此“允许了某个 AI 爬虫但仍被拦”并不矛盾。
Cloudflare 在 AI Crawl Control 与 WAF 的说明 中明确提到，WAF 自定义规则会先于 AI Crawl Control 的部分流程生效；如果允许的 AI 爬虫仍被拦，应检查上游 WAF 规则。实操中，建议按这个顺序排查：
- 查看 Security Events，确认命中的规则名称。
- 检查是否有“Block all bots”“JS Challenge all bots”之类的泛规则。
- 将 AI Crawl Control 规则、自定义放行规则与泛拦截规则排序对齐。
- 用同一 UA、同一路径、同一时间窗口复测。
一套可复用的 36 格验证表
配置完成后，不要只用浏览器打开首页判断成功。更可靠的方法是做 36 格验证：4 类机器人身份 × 3 类路径 × 3 类规则状态。它能同时发现“公开页被误拦”和“敏感页被误放”。
| 维度 | 测试项 |
|---|---|
| 机器人身份 | 普通浏览器、可信搜索 bot、可信 AI 检索 bot、未知高频 bot |
| 路径类型 | 公开内容页、静态资源、敏感入口 |
| 规则状态 | 原始规则、加例外规则、回滚规则 |
通过标准建议设为：
- 公开内容页：可信 AI 检索 bot 返回 200，未知高频 bot 可限速或挑战。
- 敏感入口：所有 AI bot 不因例外规则获得额外权限。
- 静态资源：CSS、JS、图片不被无意义挑战，否则 AI 可能拿不到完整页面结构。
- 回滚后：规则能恢复到配置前状态，便于事故处理。
如果你关注 AI 是否真的引用了页面，仅看 200 状态码还不够。MaxAEO 提供 AI 搜索可见性监测与引用溯源，可追踪品牌在豆包、DeepSeek、腾讯元宝、通义千问、文心一言、Kimi 等平台中的提及率、排序、情绪评价与引用来源；相关方法可参考 大模型抓取 403 原因排查 和 国产 AI 爬虫 UA 识别与放行。
推荐的最小配置流程
最小配置原则是：先确认被谁拦，再只放公开路径，最后用日志和 AI 答案复测。不要先写复杂正则，也不要把所有 AI UA 加进全站白名单。
- 锁定基线：记录当前 robots.txt、Cloudflare Bot 设置、WAF 规则、AI Crawl Control 设置。
- 查事件日志：找出 AI 请求被哪个规则拦截，记录 Ray ID、UA、路径和动作。
- 分组机器人：把实时检索、搜索爬虫、训练爬虫和未知 bot 分开。
- 写路径例外：仅覆盖公开内容路径，排除登录、支付、后台和写接口。
- 选择 Skip 范围：只跳过误伤抓取的挑战或 bot 防护，不跳过核心攻击检测。
- 小流量发布：先应用到单个子域或内容目录，观察 24–72 小时。
- 复测 AI 结果：用同一组问题查看提及率、引用来源和回答是否更新。
MaxAEO 的 AI 可见度诊断支持基于品牌名在约 20 分钟内生成 9 个国产 AI 平台的诊断报告，也支持持续监测优化后提及率、排序与情绪变化。对于 SaaS 和工具类品牌，Cloudflare 放行只是第一步，更关键的是确认 AI 是否开始引用正确页面。
常见问题
Cloudflare 的 Block AI bots 要不要关闭？
如果目标是让 AI 搜索读取公开内容，可以不要全局关闭，而是优先使用 AI Crawl Control 或 WAF 路径例外做精细化控制。若全局关闭，训练型和异常型 AI 抓取也可能一起进入。
robots.txt 允许了，为什么 AI 还是抓不到？
robots.txt 只是抓取协议信号，不等于网络层一定可访问。WAF、Bot Fight Mode、速率限制、源站防火墙、JS Challenge 都可能让 AI 请求返回 403 或挑战页。
能不能只靠 User-Agent 放行？
不建议。UA 容易伪造，至少应叠加路径、请求方法、频率、Cloudflare bot 字段或 Verified bot 分类。对敏感路径，可信 UA 也不应获得额外权限。
AI 访问例外会影响网站安全吗？
配置得当不会明显降低安全性。关键是只放公开内容、只跳过必要挑战、保留核心 WAF 检测，并持续查看日志。如果例外规则覆盖全站、所有方法和所有安全功能，风险会显著增加。
如何判断放行后真的带来了 AI 搜索收益？
看三类指标：AI 回答中的品牌提及率、推荐位次、自有域名在引用来源中的占比。MaxAEO 支持同屏展示提及率、竞争排名和平均推荐位次，并可按平台和时间维度追踪趋势。
