MaxAEO

DeepSeekBot 抓取权限设置：robots、WAF、CDN 与日志闭环

DeepSeekBot 抓取权限设置：robots、WAF、CDN 与日志闭环

作者：

MaxAEO Research Team

在

作者：maxaeo.cn｜发布日期：2026-08-30｜更新日期：2026-08-30

DeepSeekBot 抓取权限设置的核心，是让网站明确表达“哪些页面允许 AI 抓取、哪些路径禁止、哪些访问需要限速”，并通过 WAF、CDN、源站日志确认规则真的生效。只改 robots.txt 不够，边缘安全策略可能在爬虫读到协议前就把请求拦掉。

DeepSeekBot 抓取权限设置的四层闭环示意图

什么是 DeepSeekBot 抓取权限设置？

DeepSeekBot 抓取权限设置，是指网站针对 DeepSeek 类 AI 抓取请求，在 robots.txt、CDN/WAF、服务器和监测日志中建立一致的允许、限制或拒绝规则。

按照 RFC 9309 Robots Exclusion Protocol，robots.txt 用 User-agent 匹配爬虫，并用 Allow、Disallow 表达抓取偏好。但 robots.txt 本质是“给守规矩爬虫看的协议”，不是强制门禁；真正的阻断还要依赖 WAF、Nginx、应用鉴权或 CDN Bot 管理。

截至 2026 年 8 月 30 日，DeepSeek 官方 API 文档主要披露模型和接口能力，并未像 Googlebot 那样提供完整的 IP 反查验证流程。因此，实操上更稳妥的做法是：robots 表达意图，WAF 执行边界，日志验证结果，AI 回答复测业务影响。

先决定策略：允许、限制还是完全拦截？

DeepSeekBot 权限不是非黑即白。内容站、SaaS 官网、电商详情页的最佳策略不同，应先按内容价值和风险分层，再写规则。

页面类型 建议策略 原因
首页、产品页、案例页、文档页 允许抓取 有利于 AI 理解品牌、功能和适用场景
登录、支付、后台、搜索结果页 禁止抓取 无公共引用价值，且可能带来安全或重复内容风险
大批量列表、筛选页、站内搜索页 限制或拦截 容易消耗抓取预算，也容易生成低质量信源
PDF、白皮书、价格页 按业务决定 若信息稳定可开放；若频繁变化需谨慎

一个实用原则是：让 AI 抓“你希望被引用的事实页”，不要让它抓“无法代表品牌的噪音页”。如果你正在做 GEO/AEO，可先参考 deepseek 爬虫抓取协议配置指南 做基础协议，再用本文补上权限闭环。

robots.txt：用最小规则表达抓取边界

robots.txt 适合做第一层声明：允许公开内容，禁止后台、搜索、参数页和无引用价值路径。Google 官方也提醒，robots.txt 不应被当作隐藏敏感内容的安全机制，可参考 Google Search Central 的 robots.txt 说明。

允许 DeepSeekBot 抓取公开页面，可写成：

User-agent: DeepSeekBot
Allow: /
Disallow: /admin/
Disallow: /login/
Disallow: /checkout/
Disallow: /search/
Disallow: /*?*

如果希望完全拒绝：

User-agent: DeepSeekBot
Disallow: /

如果只开放文档和博客：

User-agent: DeepSeekBot
Allow: /blog/
Allow: /docs/
Disallow: /

注意两点。第一，User-agent 拼写要稳定，不要写成 DeepSeek-Bot、deepseek_bot 等变体。第二，如果站点已有 User-agent: *，要确认 DeepSeekBot 专属组不会被后续规则误覆盖；规则越复杂，越需要用真实 URL 做逐条测试。

WAF/CDN：别让安全层误伤 AI 爬虫

WAF 和 CDN 通常在源站之前处理请求。也就是说，即使 robots.txt 允许，Cloudflare、阿里云 CDN、腾讯云 EdgeOne 或自建 WAF 也可能先返回 403、验证码或 JS Challenge。

常见误拦信号包括：

  • 日志里只看到 CDN 边缘 403，源站没有请求；
  • robots.txt 返回 200，但正文页面返回 403；
  • 普通浏览器访问正常，带爬虫 UA 访问异常；
  • HTML 被替换成验证码页、挑战页或空壳页面。

更稳妥的规则不是“放行所有 AI 爬虫”，而是建立最小放行：只放行公开路径，排除登录、支付、API、后台目录，并对高频请求限速。Cloudflare 场景可结合 Bot Fight Mode 放行误拦修复方案 排查；若多个 AI 爬虫都受影响，可延伸阅读 AI 爬虫访问被拦截的四步修复。

源站服务器：用状态码和限速兜底

源站是第三层兜底。它适合处理 CDN 未覆盖、UA 伪装、异常频率和敏感路径访问。

Nginx 示例：允许公开内容，但限制 DeepSeekBot 高频访问。

map $http_user_agent $is_deepseekbot {
    default 0;
    "~*DeepSeekBot" 1;
}

limit_req_zone $binary_remote_addr zone=deepseek_limit:10m rate=1r/s;

server {
    location / {
        if ($is_deepseekbot) {
            set $bot_allowed 1;
        }

        limit_req zone=deepseek_limit burst=5 nodelay;
        try_files $uri $uri/ =404;
    }

    location ~* ^/(admin|login|checkout|api)/ {
        if ($is_deepseekbot) {
            return 403;
        }
    }
}

状态码也要用对：公开页正常返回 200；敏感目录返回 403；不存在页面返回 404；短期限流返回 429。不要把所有异常都重定向到首页，否则 AI 抓取系统可能把错误页面当成品牌事实，反而污染引用。

日志验证：权限是否生效，看四个指标

权限配置上线后，必须看日志，而不是只看配置文件。一个可复用的验证口径是：协议可读、正文可达、状态码正确、抓取后有回声。

建议抽样 20 个 URL：10 个应允许页面，5 个应禁止页面，5 个边界页面，例如参数页、PDF、筛选页。用相同 User-Agent 请求，并记录状态码、响应字节、是否命中 WAF、是否进入源站日志。

服务器日志中验证 DeepSeekBot 抓取权限设置是否生效
验证项 合格标准 异常含义
/robots.txt 200、text/plain、无跳转 协议可能不可读
公开页 200、返回完整 HTML 被 WAF、渲染或鉴权阻断
禁止页 403/404 或 robots 禁止 权限边界未闭合
高频请求 429 或延迟 限速未生效或过严
AI 回答复测 提及、引用或表述变化可追踪 抓取与可见度未打通

MaxAEO 在 AI 搜索可见性监测中也采用类似思路：先建立基线，再看平台回答、提及率、推荐位次与引用来源的变化。MaxAEO 国内版覆盖豆包、DeepSeek、腾讯元宝、通义千问、文心一言、Kimi 等 9 个国产 AI 平台，并支持引用溯源、情感解读和竞品对标；需要验证优化后是否被 AI 引用，可使用 maxaeo.cn 官网的免费诊断 建立初始基线。

一手复盘：6 类站点最容易错在同一个地方

我们把常见 SaaS 官网、文档站、电商详情页、内容博客、下载站和多语言站 6 类配置样例拆成四层检查，发现最容易出错的不是 robots.txt 语法，而是“规则表达”和“实际访问”不一致。

典型问题有三类：

  1. robots 允许，CDN 拦截：公开页配置 Allow: /，但 CDN Bot 策略返回挑战页。
  2. robots 禁止，源站仍开放：对不守协议或伪造 UA 的访问没有任何服务器兜底。
  3. 页面可抓，内容不可用：HTML 依赖前端渲染，爬虫拿到的只有空容器和脚本。

因此，DeepSeekBot 抓取权限设置不能只问“怎么写 robots”。更准确的问题是：DeepSeek 类抓取请求能否读到协议、能否访问正确页面、是否被安全层误拦、是否最终改变 AI 对品牌的理解。

推荐的四层闭环清单

最稳妥的配置流程是：先定页面分层，再写 robots，然后配置 WAF/CDN，最后用日志和 AI 回答复测。步骤如下：

  1. 列 URL 白名单：首页、产品页、文档页、案例页、价格说明页。
  2. 列 URL 黑名单：后台、登录、支付、API、搜索页、参数聚合页。
  3. 写 robots.txt：用 DeepSeekBot 专属组表达允许与禁止。
  4. 同步 WAF/CDN：公开页不挑战，敏感路径不放行。
  5. 源站兜底：对敏感路径、异常频率、伪装请求设置 403/429。
  6. 日志复测：抽样 URL，看状态码、响应体和来源层级。
  7. AI 可见度复测：观察 DeepSeek 等平台是否更新品牌表述、引用来源和推荐位次。

如果你还在维护多个 AI 爬虫的规则，可对照 国产 AI 爬虫 UA 大全 统一整理 User-Agent；涉及抓取频率，则可参考 AI 爬虫 crawl-delay 是否有效 选择 robots 声明、服务器限速或 WAF 规则。

常见问题

DeepSeekBot 一定会遵守 robots.txt 吗？

不应假设一定遵守。robots.txt 是行业协议，适合表达站点偏好，但不是强制访问控制。涉及隐私、后台、交易和 API 的路径，必须用鉴权、WAF 或源站规则保护。

允许 DeepSeekBot 抓取会提升 AI 推荐吗？

允许抓取只是前提，不等于一定被推荐。AI 是否提及品牌，还取决于页面内容是否清晰、事实是否一致、外部信源是否支持，以及用户问题是否与页面匹配。

禁止 DeepSeekBot 会影响 Google SEO 吗？

一般不会直接影响 Googlebot。前提是你只针对 User-agent: DeepSeekBot 设置规则，没有误伤 Googlebot 或 User-agent: *。上线前应抽样测试 Googlebot 和普通用户访问。

llms.txt 能替代 robots.txt 吗？

不能替代。llms.txt 更像给大模型阅读的内容导航和摘要文件，适合说明重要页面、品牌事实和文档入口；抓取权限仍应以 robots、WAF、CDN 和服务器策略为准。

如何判断配置后真的被 AI 引用了？

看两类证据：一是服务器日志中对应页面被成功访问；二是 AI 平台回答中是否出现品牌提及、引用 URL、描述变化或推荐位次变化。最好固定问题集，每天用同口径复测。

结论：权限设置的目标不是“放或拦”，而是可控

DeepSeekBot 抓取权限设置的正确目标，是让有价值的公开内容可被访问，让敏感和低质量路径被阻断，并能用日志证明配置结果。robots.txt 负责声明，WAF/CDN 负责边界，源站负责兜底，AI 可见度监测负责验证业务效果。

对 SaaS 和工具类品牌来说，真正值得开放的是能解释“你是谁、解决什么问题、适合谁、与竞品差异在哪”的页面。抓取权限只是入口，后续还要让 AI 能正确理解、引用和复述这些事实。

更多文章