博客

竞品AI来源线索追踪，不只看AI提没提对手，更要追到引用了哪个域名、哪类页面和哪…

竞品内容更新会先改变 AI 的引用来源，再影响推荐理由和位次。本文用四层波动模型…

Cloudflare 自定义规则放行爬虫应采用最小放行：先限定爬虫 UA，再收窄…

Cloudflare 分场景白名单配置不应一刀切放行。本文按官网、文档站、博客、…

llms.txt 目录索引设计应把官网变成高信号导航，而不是复制站点地图。本文给…

国产大模型爬虫 user-agent 不宜只按名称放行。本文整理 Kimi、De…

deepseek robots 允许抓取不能只看一行 Allow，还要同时检查 …

国产 AI 爬虫放行规则要同时处理 robots、User-Agent、WAF、…

Cloudflare 机器人验证白名单不等于全站放行。本文用四层决策框架讲清 V…

国产 ai bot 白名单配置不能只写 robots.txt，还要同步处理 WA…