作者：maxaeo.cn｜发布日期：2026年9月15日｜更新日期：2026年9月15日
Cloudflare 站点级 AI 爬虫放行规则，核心不是“关闭防护”，而是只对指定主机名、必要路径和已识别请求建立最小例外。这样既能降低 DeepSeek、豆包、Kimi 等 AI 爬虫被 WAF 误拦截的概率，也不会把同一账户下的其他站点暴露在不必要的风险中。
什么是站点级 AI 爬虫放行规则？
站点级规则是指在 Cloudflare 的单个站点或 Zone 范围内，利用 http.host 等条件区分目标域名，再对符合条件的 AI 爬虫请求执行放行、跳过部分检查或降低挑战强度。
它与账户级、全局级放行的区别在于：规则只作用于指定主机名，不会自动影响同一 Cloudflare 账户中的其他域名。对于同时运营官网、帮助中心、文档站和活动页的 SaaS 品牌，这种边界尤其重要。
需要注意，robots.txt 只是抓取声明，不能绕过 Cloudflare WAF、Bot Management 或托管质询；而 WAF 放行也不等于 AI 平台一定会引用页面。两者应分别配置、分别验证。关于不同防护层的执行顺序，可参考Cloudflare Bot Management 规则优先级排查指南。
为什么优先按主机名放行，而不是全站放行？
按主机名放行的价值，在于把“业务允许范围”与“安全例外范围”对齐。假设企业有 www.example.com、docs.example.com 和 status.example.com 三个主机名，AI 爬虫真正需要访问的可能只有官网和文档站，状态页则未必需要开放同样的规则。
建议采用“四层收敛框架”：
- 主机名：限定为需要被 AI 读取的域名。
- 路径：优先覆盖公开内容，如
/blog/、/docs/，避免默认涵盖后台和接口。 - 请求方法：通常先限制为
GET、HEAD等只读请求。 - 请求特征：结合官方可验证爬虫信号、User-Agent、ASN 或日志行为判断。
其中，User-Agent 只能作为识别线索，不能单独作为强信任凭据，因为请求方可以伪造。更稳妥的方式是先从日志确认真实请求，再将主机名、路径和请求特征组合起来。MaxAEO整理的Cloudflare AI 爬虫识别规则可作为识别与核验的补充。
如何配置 Cloudflare 按主机名放行爬虫？
第一步：确认目标主机名和公开目录
先列出 AI 爬虫确实需要访问的内容，不要直接对整个域名执行“允许所有请求”。例如：
| 配置项 | 推荐做法 |
|---|---|
| 主机名 | 仅填写官网或文档站主机名 |
| 路径 | 优先选择公开文章、产品页、文档目录 |
| 方法 | 优先限制为 GET、HEAD |
| 后台路径 | 排除 /admin/、登录页和内部接口 |
| 参数 | 观察是否存在高风险查询参数，必要时限制 |
如果网站所有公开内容都位于同一主机名，也应保留后台路径排除条件。站点级不等于全路径级，主机名只是第一道边界。
第二步：在 WAF 自定义规则中建立最小例外
在 Cloudflare 控制台进入目标站点的安全规则区域，创建自定义规则，并使用“主机名 + 请求特征”的组合表达式。逻辑可以抽象为：
目标主机名
AND 公开路径
AND 只读请求方法
AND 已确认的 AI 爬虫特征
动作选择取决于当前防护策略。若目标是避免托管质询或某项检测误伤，应优先考虑跳过明确的检查项，而不是无条件允许全部安全产品。若 Cloudflare 当前账户具备已验证机器人识别能力，也应优先使用可验证信号；只有在无法识别时，才将 User-Agent 作为辅助条件。
规则名称建议包含站点、爬虫类型和用途，例如“官网公开内容 AI 爬虫最小例外”，便于后续审计。不要把多个业务域名、多个爬虫和多个高风险路径塞进一条无法解释的宽泛规则。
第三步：检查规则顺序和冲突
Cloudflare 规则可能受到自定义 WAF、托管规则、Bot Management、速率限制以及其他安全策略影响。即使放行表达式本身正确，前置规则仍可能先返回挑战或拦截。
排查时重点看三项：
- 目标例外规则是否实际命中；
- 是否有更高优先级的阻断、挑战或速率限制；
- 跳过动作是否覆盖了真正产生拦截的安全产品。
Cloudflare WAF Skip Rule Bot 的最小放行方案适合用于理解“只跳过必要检查项”的配置思路。
如何验证规则真的生效？
配置完成后，不要只看控制台中的规则状态。有效验证应形成“请求—日志—页面—AI表现”四段闭环。
1. 用真实日志确认请求结果
筛选目标主机名、User-Agent、时间范围和请求路径，记录以下字段：
- HTTP 状态码；
- Cloudflare 最终动作；
- 是否出现 Managed Challenge；
- 请求是否到达源站；
- 响应时间和响应体大小；
- 页面是否返回完整正文，而非验证页或错误页。
通常，稳定的 200 只能说明请求拿到了响应，还不能证明内容适合 AI 读取。若返回 403、429、5xx，应分别判断是 WAF 拦截、速率限制、源站拒绝还是源站故障。关于 DeepSeek 请求状态码的分析方法，可参考从 200 到 5xx 判断页面是否可用。
2. 做“允许请求”和“普通访客”对照测试
原创验证建议采用双样本法：一组使用已确认的 AI 爬虫请求特征，另一组使用普通浏览器或常规访问请求，分别访问同一公开页面。
理想结果是：
- AI 爬虫获得完整公开内容；
- 普通异常请求仍受到原有防护；
- 后台、登录和内部接口没有被规则覆盖；
- 规则命中只发生在目标主机名和目标路径。
这种对照比单独测试一个 User-Agent 更有价值，因为它能发现“规则过宽”和“规则未命中”两类相反问题。
3. 观察内容是否真的进入 AI 回答
爬虫访问成功后，仍需关注 AI 平台是否提及品牌、是否引用自有域名，以及回答中的品牌描述是否准确。AI 抓取与 AI 引用之间存在时间差，单次访问不能直接证明优化成功。
MaxAEO国内版覆盖豆包、DeepSeek、腾讯元宝、通义千问、文心一言、Kimi等9个中国大陆 AI 平台，可按平台查看提及率、排序、情绪和引用来源。注册后还可获取免费品牌 AI 搜索诊断报告，用于建立放行前后的对照基线。
常见配置错误有哪些？
把 robots.txt 当成 WAF 白名单。 robots.txt 只能表达站点意愿，无法解除 Cloudflare 的挑战或封锁。
只匹配 User-Agent。 伪装请求很容易绕过单一 UA 条件，应叠加主机名、路径、方法和日志验证。
直接使用 IP 全局白名单。 AI 平台 IP 可能变化，过宽的 IP 放行还会削弱其他站点的防护边界。
忽略缓存和源站限制。 Cloudflare 返回 200，不代表源站内容完整；还需检查缓存版本、动态渲染、登录依赖和频率限制。
只看抓取，不看引用。 放行规则解决的是可访问性问题；品牌能否被推荐，还取决于内容匹配、信源质量和事实准确度。
常见问题
Cloudflare 按主机名放行爬虫会影响其他域名吗？
如果规则明确使用目标主机名条件，通常只作用于该主机名。仍需检查是否存在账户级规则、共享规则或其他跨站策略。
AI 爬虫一定要完全放行吗？
不一定。优先采用跳过特定检查项、限制公开路径和只读方法的最小例外，避免把后台、接口和高风险请求一并放开。
为什么日志显示 200，AI 仍然不引用？
200 只代表请求获得成功响应。页面还可能存在内容过期、渲染依赖、信源竞争、品牌信息不完整或平台尚未更新等问题。
配置后多久能看到品牌提及变化？
没有统一固定时长。应记录配置前基线，并以相同问题、相同平台和相同口径持续复测，而不是依据单次回答判断结果。
Cloudflare 规则的验收标准，应从“是否放行”升级为“是否在不扩大攻击面的前提下，让目标页面稳定可读，并能在 AI 回答中追踪变化”。完成基础配置后，可结合AI 爬虫日志识别、验证与可见度复盘方法检查访问链路，再通过 MaxAEO 的免费诊断观察品牌在国产 AI 平台中的提及与引用表现。