更新于 2026-08-18
WAF 误伤机器人流量，通常不是“全放开”或“全拦掉”的问题，而是规则粒度、身份验证和链路信号叠加后，把本该被允许的机器人当成了异常请求。
什么是 WAF 误伤机器人流量？
WAF 误伤机器人流量，指搜索爬虫、AI 爬虫、监测机器人、集成测试机器人等本应被允许的非真人请求，被 WAF、CDN 或边缘策略拦成 403、挑战页或限流。它本质上是“识别过宽”，不是单纯的“安全配置不够严”。
最常见的后果有两个：一是内容无法被正常抓取，二是业务监控、SEO 监测或 AI 引擎引用链路中断。对 SaaS 官网来说，这会直接影响 AI 爬虫访问失败怎么排查：从 robots.txt 到 WAF 的最小闭环 和后续品牌可见性。
为什么机器人会被 WAF 拦下？
先看三类高频误伤来源
第一类是非浏览器特征。很多机器人不会像普通浏览器那样带齐完整头部、Cookie 和 JS 行为，WAF 很容易把它们归入异常流量。AWS WAF 的官方文档也把误报归因到非浏览器 UA、经由代理或负载均衡改写后的请求，以及流量模式变化上。可参考 AWS WAF Bot Control 误报示例。
第二类是链路改写。请求经过 CDN、负载均衡或网关后，源 IP、Header、TLS 指纹、请求节奏都可能变化，规则一旦按“原始访问特征”写死，就容易误判。
第三类是策略冲突。你可能同时用了机器人管理、速率限制、JS 挑战和自定义防火墙规则。单看每条都合理，叠加后却会把正常爬虫压死。
先判断：这是误伤，还是本来就该拦？
判断前先把机器人分成三类，别把所有非真人请求混为一谈：
| 类型 | 典型对象 | 目标 | 处理优先级 |
|---|---|---|---|
| 索引型 | 搜索引擎、AI 搜索抓取 | 让内容可被发现与引用 | 优先放行 |
| 监测型 | uptime、告警、竞品监测 | 保证可观测性 | 定向放行 |
| 采集型 | 训练、搬运、批量抓取 | 视业务决定 | 可限流或拦截 |
如果你用的是 Cloudflare，还要注意一个顺序：AI Crawl Control 的处理发生在 WAF 之后，也就是说，WAF 先拦下的请求，后面的爬虫控制策略通常没机会再介入。对应文档见 Cloudflare AI Crawl Control with WAF。
这也是为什么很多团队一上来就加白名单，结果把真正的攻击面也放大了。更稳妥的做法，是先缩小到路径、方法、UA、来源 IP 和验证状态这五个维度。
最小放行怎么做？
1）先放路径，不要先放全站
把可被引用、可被抓取的页面限定在少数目录，比如首页、产品页、博客、帮助中心。登录、结算、表单提交和后台接口保持原策略。这样即使放行失手，影响面也很小。
2）再放身份，不要只看 UA
单靠 User-Agent 不够稳。更好的做法是把 路径 + UA + 来源 ASN/IP 段 + 访问频率 + 验证结果 组合成规则。AWS 的文档明确建议用自定义规则处理被 Bot Control 误拦的特定机器人流量，而不是直接全局关闭功能。
3）最后做验证，不要只看“状态码恢复”
恢复 200 不代表真的可抓。要再看三件事：
- 抓取是否命中目标页面
- 页面主体是否完整返回
- 日志里是否还有挑战、跳转或二次拦截
如果你在华为云 WAF 场景里排查，可以直接参考其“误报处理”机制，把防护事件转成最小放行规则，而不是手工大范围关规则。官方说明见 华为云 WAF 误报事件处理。
一套可直接复用的排查清单
下面这套顺序，适合大多数站点：
- 确认拦截层：是 WAF、CDN 还是源站返回 403。
- 定位命中规则：看日志里的规则 ID、标签和动作。
- 检查请求特征：UA、IP、路径、方法、Header、Cookie。
- 缩小放行范围：先按目录和身份放行，再按国家、ASN 或时间窗收紧。
- 复测抓取结果：确认机器人不是“拿到 200 但内容被降级”。
- 持续监控变化：规则更新后观察一周，避免旧误伤变成新漏洞。
如果你已经在做 AI 搜索品牌建设，建议把这一步和 AI 品牌可见性监控：从一次提及到可复盘增长 绑在一起看。这样能判断“放行后是否真的提升了抓取、引用和答案出现率”。
常见问题
误伤机器人流量和 robots.txt 是一回事吗？
不是。robots.txt 主要告诉爬虫“建议访问哪些路径”，WAF 处理的是“这个请求能不能通过”。前者偏引导，后者偏拦截。
只放行搜索引擎机器人够不够？
不够。很多 AI 爬虫、监测机器人和合作方抓取流量也有业务价值，应该按场景分层，而不是只认一种 bot。
为什么改了规则还是 403？
通常是因为边缘层、CDN、WAF 和源站都在判断。建议先用 CDN 403 排查：先分清边缘拦截、鉴权和源站问题 把拦截层级拆开。
机器人能不能只做 Count 不拦截？
可以，尤其适合观察期。先统计、后放行，是降低误伤风险的更稳方案。
什么时候该直接拦，不必纠结误伤？
当它属于明确的恶意采集、撞库、扫描或高频刷取，而且不承担任何业务价值时，优先保安全。
结论：先分流，再放行
处理 WAF 误伤机器人流量，核心不是“要不要开白名单”，而是先把机器人分成索引、监测和采集三类，再用最小粒度放行。你保住了抓取和引用，也保住了真正需要拦的攻击面。