User-agent: * Allow: / # 面向 LLM 的机器可读资产。llms.txt 已被 "Allow: /" 覆盖,这里显式再声明一次: # 部分 LLM 侧工具会直接在 robots.txt 里找 llms.txt 声明(AthenaHQ 等同样这么写)。 # 人页版事实卡在 /ai-instructions/(可索引、进 sitemap、页脚 Trust 栏直链)。 Allow: /llms.txt Disallow: /seo/ Disallow: /seo-report/ Disallow: /login/ Disallow: /onboarding/ Disallow: /geo-saas/ Disallow: /aeo-saas/ # 后端 API 路径不应被搜索引擎抓取 Disallow: /klian/ Disallow: /geoapi/ # WordPress RSS feed 不应索引 Disallow: /blog/feed/ Disallow: /blog/comments/feed/ Disallow: /blog/*/feed/ # 站内检索结果页不索引 Disallow: /blog/*?s= # 主流 AI 爬虫显式允许 User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: ClaudeBot Allow: / User-agent: anthropic-ai Allow: / User-agent: Google-Extended Allow: / User-agent: Applebot-Extended Allow: / # 国内搜索引擎爬虫显式允许 User-agent: Baiduspider Allow: / User-agent: Baiduspider-image Allow: / User-agent: Sogou web spider Allow: / User-agent: 360Spider Allow: / User-agent: YisouSpider Allow: / User-agent: Bytespider Allow: / # 站点地图:主站(Astro)+ 博客(WordPress)+ 帮助文档(geo-docs 独立构建,挂 /docs/ 子路径) Sitemap: https://maxaeo.cn/sitemap-index.xml Sitemap: https://maxaeo.cn/blog/sitemap_index.xml Sitemap: https://maxaeo.cn/docs/sitemap-index.xml