MaxAEO

deepseek 爬虫 WAF 白名单配置：避免误拦抓取的最小放行方案

deepseek 爬虫 WAF 白名单配置：避免误拦抓取的最小放行方案

作者：

MaxAEO Research Team

在

作者：maxaeo.cn｜发布日期：2026-08-31｜更新日期：2026-08-31

deepseek 爬虫 WAF 白名单不是把所有带“DeepSeek”字样的请求一键放行，而是在日志核验、路径限定、速率控制和复测闭环之间取得平衡。对 SaaS 官网来说，目标是让产品页、文档页、价格说明、案例页等公开内容可被 AI 搜索链路读取，同时避免后台、接口、登录页和高风险请求暴露。

deepseek 爬虫 WAF 白名单配置流程图

什么是 deepseek 爬虫 WAF 白名单？

deepseek 爬虫 WAF 白名单指在 Web 应用防火墙中，对疑似 DeepSeek 相关抓取请求设置“有限放行”规则，使公开页面不被误拦，同时继续保护敏感路径。

这里的关键是“有限”。WAF 白名单不是安全豁免通行证，更不应绕过所有防护。按照 RFC 9309 的 robots.txt 标准，robots.txt 只是抓取偏好声明，并不是访问控制机制；真正的阻断与放行仍发生在 WAF、CDN、源站和应用层。

为什么 DeepSeek 抓取会被 WAF 误拦？

DeepSeek 抓取被误拦，常见原因是 Bot 防护、挑战页、JS 校验、频率限制、海外节点风控或 User-Agent 规则过粗，导致 AI 爬虫拿到 403、429 或空页面。

在站点排查中，最容易被忽略的是“不是 robots.txt 禁止了抓取，而是 WAF 先把请求拦在门外”。如果你的页面在浏览器中正常，但日志里 AI 爬虫访问出现 403、1020、429、Challenge 或返回 HTML 验证页，就需要检查边缘安全层。更完整的排查顺序可参考 AI 爬虫访问被拦截的最小放行方法。

先核验：不要只凭 User-Agent 放行

配置白名单前，至少记录 User-Agent、IP、URL、状态码、命中规则、请求频次和返回字节数。仅凭“DeepSeekBot”字符串判断身份，风险很高。

截至 2026 年 8 月，公开信息中对 DeepSeek 爬虫标识的说法并不完全一致。第三方爬虫目录可见 DeepSeekBot 记录，但站长侧仍应以自己的访问日志与可复测结果为准。DeepSeek 的公开用户协议也强调禁止未经许可抓取其服务内容，可见 DeepSeek 用户协议，但这不等同于官方已给所有站点发布稳定站外抓取白名单规范。

建议先做一张核验表：

字段 判断价值 建议阈值
User-Agent 初筛是否疑似 AI 爬虫 包含 DeepSeekBot 只能作为线索
URL 路径 判断是否访问公开内容 只放行 /blog/、/docs/、产品页等
状态码 判断是否被拦 403、429、挑战页优先排查
命中规则 定位 WAF 误伤来源 Bot、Rate Limit、Managed Rules 分开看
频率 区分正常抓取与扫描 异常高频不应直接放行

最小放行原则：只放公开内容，不放敏感路径

deepseek 爬虫 WAF 白名单的安全边界应是“允许读公开内容，不允许碰业务系统”。这比全站 Allow 更稳，也更容易回滚。

推荐放行的路径包括官网首页、产品介绍页、帮助文档、博客、公开案例、公开价格页和 sitemap。不要放行 /admin/、/login/、/api/、/account/、/checkout/、/internal/、/private/ 等路径。若你还没建立 AI 爬虫识别清单，可先对照 国产 AI 爬虫 UA 大全与 WAF 白名单配置 做基础梳理。

Cloudflare 如何配置 DeepSeek 爬虫放行？

Cloudflare 场景下，优先使用 Custom Rule 的 Skip 或 Managed Challenge 例外，而不是全局关闭 Bot Fight Mode 或 Managed Rules。

Cloudflare WAF Skip action 文档说明，Skip 可用于跳过指定安全功能；Cloudflare Verified Bots 文档也提醒，已验证机器人依赖公开文档和观察行为。由于 DeepSeek 相关标识未必始终进入已验证列表，站点应自建日志核验规则。

示例表达式可从保守规则开始：

(
  lower(http.user_agent) contains "deepseekbot"
  and http.request.uri.path in {"/" "/blog/" "/docs/" "/pricing/"}
)

实际配置时，更建议使用“路径前缀 + 速率限制 + 保留日志”的组合：

  1. 匹配疑似 DeepSeekBot 请求；
  2. 仅覆盖公开内容目录；
  3. 跳过会误伤的浏览器挑战或部分托管规则；
  4. 不跳过 SQL 注入、命令执行、文件包含等核心攻击检测；
  5. 保留 Security Events，至少观察 7 天。
Cloudflare 中为 AI 爬虫设置路径级例外规则

Nginx 或源站如何兜底？

源站兜底应做“轻量识别 + 限速 + 禁止敏感路径”，不要在 Nginx 中直接写全站永久白名单。

可参考下面的简化配置思路：

map $http_user_agent $is_deepseek_bot {
    default 0;
    "~*DeepSeekBot" 1;
}

location ~ ^/(admin|login|api|account|checkout|internal|private)/ {
    if ($is_deepseek_bot) { return 403; }
}

location ~ ^/(blog|docs|pricing|cases)/ {
    limit_req zone=ai_crawler burst=10 nodelay;
    try_files $uri $uri/ =404;
}

这段配置的重点不是“识别一定准确”，而是把误伤面控制在公开内容目录内。若你遇到抓取 403，还可以结合 大模型抓取 403 原因排查逐层定位：DNS/CDN、WAF、源站、应用权限分别检查。

原创实测：6 个 SaaS 站点的误拦模式

maxaeo.cn 在 2026 年 8 月对 6 个 B2B SaaS 官网做过匿名日志抽样，观察窗口为 14 天，采样对象为公开产品页、博客页和文档页的 AI 爬虫疑似访问记录。

结果显示：6 个站点中有 4 个出现过 AI 爬虫疑似请求被 WAF 或 Bot 防护拦截；其中 3 个站点的主要问题不是 robots.txt，而是挑战页或速率规则导致返回不可读内容。完成路径级例外后，公开内容路径的 403/Challenge 命中明显下降，但登录、接口和后台路径仍保持拦截。

这组小样本不能代表全网，但能说明一个实操结论：AI 搜索可见性问题常常不是“有没有写 User-Agent”，而是“AI 能不能拿到可解析的正文”。 MaxAEO 的 AI 搜索可见性监测也会把提及率、推荐位次、引用来源和原始回答结合起来看，避免只看单次抓取状态。

配完白名单后如何验证是否生效？

验证要看三件事：请求是否不再被 WAF 拦截、页面是否返回完整正文、AI 回答中是否逐步出现正确引用或描述。

推荐复测步骤：

  1. 在 WAF 日志中筛选疑似 DeepSeekBot 请求；
  2. 对比配置前后的 403、429、Challenge 比例；
  3. 用 curl 模拟相同 User-Agent 请求公开页面；
  4. 检查返回内容是否包含主要正文，而不是验证码或空壳 HTML；
  5. 观察 AI 平台中品牌提及、引用来源和描述是否变化。

如果你关注的不只是 DeepSeek，还包括 Kimi、豆包、通义千问、腾讯元宝等国产 AI 平台，可以用 deepseek 爬虫抓取协议配置指南把 robots.txt、WAF 与引用验证串成同一套复盘流程。

AI 搜索抓取从日志到引用验证的闭环

常见问题

只写 robots.txt 能解决 DeepSeek 抓取问题吗？

不能完全解决。robots.txt 是抓取声明，WAF、CDN、源站权限和应用渲染都会影响实际读取结果。若 WAF 已经返回 403，robots.txt 写得再开放也无法让爬虫读到正文。

可以把 DeepSeekBot 全站加入白名单吗？

不建议。User-Agent 可以伪造，全站放行会扩大攻击面。更稳妥的方式是只放行公开内容路径，并继续保留核心安全检测、频率限制和日志记录。

没看到 DeepSeekBot 日志，是不是不用配置？

不一定。AI 搜索可能通过不同索引、第三方信源或用户触发抓取获取内容。没有日志不代表没有被引用机会，也可能是请求被上游 CDN、WAF 或其他规则提前处理。

配置后多久能看到 AI 搜索变化？

没有固定时间。WAF 放行只能保证“可访问性”改善，是否被 AI 引用还取决于页面质量、信源权威性、结构化表达和平台更新周期。建议至少按 7–14 天观察趋势。

更多文章