MaxAEO

Cloudflare AI 爬虫识别规则：区分真实爬虫与伪装请求

Cloudflare AI 爬虫识别规则：区分真实爬虫与伪装请求

作者：

MaxAEO Research Team

在

作者：maxaeo.cn｜发布日期：2026年9月14日｜更新日期：2026年9月14日

Cloudflare AI 爬虫识别规则的核心，不是搜索日志里有没有 GPTBot、ClaudeBot 或 Bytespider，而是验证请求是否同时满足身份可信、来源合理、行为正常、确实拿到内容四个条件。只看 User-Agent，无法排除伪装请求，也可能误放行恶意脚本。

Cloudflare AI 爬虫识别规则四层核验流程图

什么是 Cloudflare AI 爬虫识别规则？

Cloudflare AI 爬虫识别规则，是利用 User-Agent、Cloudflare 机器人字段、IP 或 ASN、访问行为和响应结果，判断请求属于真实 AI 爬虫、普通自动化程序还是伪装流量的一组规则。

需要先区分三类对象：

类型 主要目的 处理建议
AI 搜索爬虫 建立搜索索引、检索或 RAG 信源 可按公开内容和路径放行
AI 训练爬虫 收集训练或微调数据 根据内容授权策略允许或阻断
AI 助手访问 代表用户实时打开页面 重点检查频率、路径和来源

Cloudflare 官方文档目前将 AI 相关机器人进一步按 Search、Agent、Training 等行为分类。旧规则中的 AI Crawler、AI Search 等字段仍可使用，但新配置不应把所有 AI 流量当成同一种请求。Cloudflare Verified Bots 分类说明对此有明确解释。

为什么 User-Agent 不能单独作为识别依据？

User-Agent 只是请求头中的一段文本，任何脚本都可以伪造。例如，攻击者可以发送：

User-Agent: GPTBot

但这并不代表请求真的来自 OpenAI。反过来，真实 AI 访问也可能使用不同的爬虫名称，或者由中间服务代为发起，不能仅凭一个字符串判断“真实”或“虚假”。

Cloudflare AI Crawl Control 在免费方案中主要依赖 User-Agent 识别已知爬虫；启用更完整的 Bot Management 后，还可以使用检测 ID 等信号增强判断。Cloudflare AI Crawl Control 文档说明了这一差异。

因此，User-Agent 适合做初筛，不适合做最终放行条件。

如何判断真实 AI 爬虫与伪装请求？

推荐采用“身份—网络—行为—结果”四层核验法。四层证据越完整，放行风险越低。

1. 先看 User-Agent，但只建立候选名单

常见公开标识包括：

  • OpenAI：GPTBot、OAI-SearchBot、ChatGPT-User
  • Anthropic：ClaudeBot、Claude-SearchBot、Claude-User
  • Perplexity：PerplexityBot、Perplexity-User
  • Google：Google-Extended
  • 字节跳动：Bytespider

Cloudflare 的 AI 爬虫 Bot reference列出了部分爬虫、运营方、类别和检测 ID。但名单只是识别入口，不是白名单本身。对于日志中出现的国产大模型请求，尤其不要直接照抄网络流传的 UA，而应先确认该标识是否真实出现在你的访问记录中。

2. 再验证 Cloudflare 的机器人字段

如果账号功能可用，优先检查：

cf.client.bot
cf.verified_bot_category
cf.bot_management.verified_bot
cf.bot_management.score

其中，cf.client.bot 表示请求是否来自 Cloudflare 识别的已知良性机器人；cf.verified_bot_category 可进一步查看机器人用途类别。Cloudflare 字段文档显示，cf.client.bot与已验证机器人判断相关，但它也不意味着该请求可以无条件访问所有路径。

企业版 Bot Management 还可使用 Bot Score。Cloudflare 文档将分数定义为 1–99 的自动化可能性指标，低分更接近脚本或自动化代理，高分更接近普通浏览器用户。不过，Bot Score 是风险信号，不是某个具体公司的身份凭证。

3. 检查 IP、ASN 与反向 DNS

真实爬虫通常具备较稳定的网络来源。日志核验时可以检查：

  1. IP 是否属于公开的运营方网段；
  2. ASN 是否与声称的服务商一致；
  3. 反向 DNS 是否能解析到可信域名；
  4. 正向 DNS 是否能解析回原始 IP，形成正反向一致；
  5. 同一 IP 是否同时发送大量互相矛盾的 User-Agent。

如果请求声称是 Googlebot，却来自普通住宅代理 ASN，或者反向 DNS 与声称的服务商完全无关，应将其视为伪装候选，而不是可信爬虫。

这也是为什么“按 User-Agent 放行”比“使用 Cloudflare 已识别机器人字段”风险更高：前者只验证自报身份，后者至少结合了 Cloudflare 的网络和行为判断。

4. 最后看访问行为与响应结果

一条真实爬虫请求还应符合合理行为：

  • 请求路径集中在公开文章、产品页或文档页；
  • 访问频率相对稳定，不在短时间内横扫全部 URL；
  • 遵守 robots.txt 中的限制；
  • 不反复请求登录、支付、管理后台和不存在页面；
  • 能获得 200、有效 HTML 和主要正文内容；
  • 没有大量 403、429、挑战页或空白模板。

下面这套原创评分框架适合用于日志初筛：

证据 分值 判断
UA 与公开爬虫名称匹配 1 仅代表自报身份
Cloudflare 标记为已知机器人 2 可信度明显提高
IP/ASN/反向 DNS 与运营方一致 2 排除常见伪装
遵守 robots.txt 且频率稳定 2 行为符合爬虫特征
成功取得正文并持续访问 2 具备实际抓取结果
请求后台、登录或异常高频 -2 增加恶意或伪装风险

**总分 6 分以上可进入候选放行，3–5 分先限速观察，2 分及以下不建议直接放行。**这不是 Cloudflare 的官方评分，而是一套便于团队统一判断口径的日志分析框架。

Cloudflare 中应如何配置最小放行？

识别完成后，不建议直接建立“UA 包含 bot 就 Allow”的全站规则。更稳妥的顺序是：

  1. 在 AI Crawl Control 中确认具体爬虫及用途；
  2. 使用 cf.client.bot 或已验证机器人字段作为优先条件；
  3. 将允许范围限制在公开内容路径；
  4. 对 /login、/admin、/api、支付和用户数据路径保持原有保护；
  5. 通过 Security Events 和源站日志复核结果。

例如，逻辑上可以采用：

cf.client.bot
and http.request.uri.path wildcard "/blog/*"

这类表达式仅用于说明思路，实际字段、可用动作和套餐能力应以 Cloudflare 控制台为准。Cloudflare 官方也提醒，自定义规则可能意外影响已知机器人，因此应先排除可信机器人，再对其他自动化流量实施挑战或阻断。允许已验证机器人访问的 WAF 示例可作为配置参考。

如果站点同时使用 AI Crawl Control 与 Bot Management，还要注意规则优先级：Cloudflare 文档说明，AI Crawl Control 的阻断规则属于 WAF 自定义规则，执行顺序早于 Bot Solutions。单独打开某个“允许 AI”选项，并不一定能抵消更早执行的 WAF 阻断。

日志分析时最容易出现的四个误区

误区一：看到 GPTBot 就立即放行

伪造 UA 的成本极低。应至少补充 Cloudflare 标记、网络来源和响应结果三类证据。

误区二：看到 403 就认为 AI 爬虫不存在

403 只能说明请求没有正常取得内容，原因可能是 WAF、托管质询、Bot Fight Mode、地区策略或源站规则。可结合Cloudflare 机器人流量分析方法逐层定位。

误区三：把 robots.txt 当成安全规则

robots.txt主要表达抓取偏好，不能阻止伪装请求，也不能替代 Cloudflare WAF。真正的放行或阻断仍需要在边缘安全层和源站日志中验证。

误区四：只验证“爬虫来没来”，不验证“品牌是否被引用”

AI 爬虫访问页面，不等于页面已经进入 AI 回答的引用信源。还需要继续观察页面是否被引用、品牌是否被提及、排序和情感是否变化。MaxAEO 的 AI 爬虫日志分析指南也将抓取、引用和品牌可见度分成不同环节。

一套可执行的复核清单

发现可疑 AI 请求后，可按以下顺序记录：

  1. User-Agent 与请求时间；
  2. Cloudflare 是否标记为已知或已验证机器人；
  3. IP、ASN、反向 DNS 和正向 DNS；
  4. 请求路径、频率、状态码和响应字节数；
  5. 是否遵守 robots.txt；
  6. 是否触发 WAF、Bot、限速或挑战规则；
  7. 页面是否返回完整正文；
  8. 放行后，AI 平台是否出现新的引用或品牌提及。

其中第 8 步决定了技术配置是否产生业务价值。对于 SaaS、工具和品牌官网，仅看访问量容易高估效果，更应该把日志变化与 AI 平台中的提及率、推荐位置、引用来源和情感评价结合起来持续复盘。

常见问题

Cloudflare 能百分之百识别真实 AI 爬虫吗？

不能。Verified Bots、Bot Management 和检测 ID 可以提高识别准确度，但任何单一信号都不应被视为绝对身份凭证。高价值路径仍应使用最小权限和额外访问控制。

User-Agent 中没有 bot 字样，就一定不是 AI 爬虫吗？

不一定。部分服务可能使用不同标识，或通过中间服务访问。判断时应综合 Cloudflare 字段、网络来源、访问行为和响应结果。

应该放行 AI 爬虫，还是全部阻断？

取决于内容策略。如果目标是进入 AI 搜索和问答信源，可对公开内容按用途放行；如果不希望内容用于训练，则应区分 Training、Search 和 Agent，而不是使用一个全局开关。

放行后如何确认配置有效？

查看 Cloudflare Security Events、AI Crawl Control 的请求统计、源站访问日志和页面响应内容。进一步还要用固定问题集复测 AI 平台中的引用与品牌提及变化。

AI 爬虫日志中 User-Agent、状态码与验证结果示例

更多文章