AEO工具怎么选，最有效的做法不是对比功能清单，而是把四个数据问题问到底：怎么采、采多少、留什么、能不能重来。 功能可以照抄，采集方式和采样口径不能作假——它们直接决定你每周看到的那条提及率曲线，是真实信号还是随机噪音。
市面上的选型文章大多停在"支持哪些平台、有没有竞品对比、能不能出周报"。这些都能在演示环境里做得很漂亮。真正会让你在半年后推翻全部结论的，是藏在数字背后的口径。
先给结论：AEO工具的四层验收框架
AEO 工具验收分四层：采集方式（数据从哪来）、采样口径（跑了多少次）、留档粒度（原始证据留不留）、复现性（同一天能不能重跑出同样结论）。 四层里任何一层交白卷，上层指标都不成立——留档缺失时，提及率涨跌无法归因；采样量不足时，涨跌本身就不可信。
| 层级 | 核心追问 | 不合格的信号 |
|---|---|---|
| 采集方式 | 官方接口、网页端模拟，还是二者混用？分别覆盖哪些平台？ | 只说"多平台覆盖"，不说每个平台走哪条路 |
| 采样口径 | 每个 prompt 每天跑几次？多少个 prompt？分母是什么？ | 只报百分比，不报样本量 |
| 留档粒度 | 答案原文、引用 URL、截图、时间戳、模式标记留几年？ | 只存结构化指标，原文不落库 |
| 复现性 | 同一天同一组 prompt 重跑，结论能不能对上？ | 无法导出原始记录供你自己复算 |
这四层的顺序不能颠倒。下面从最容易被跳过的采样口径说起，因为它是唯一一个能用数学直接算出及格线的环节。
先分清你要买的是哪类工具
市面上叫"AEO 工具"的产品其实是四类，解决的问题完全不同，混着比价必然选错。 先确定自己缺哪一环，再往下看验收标准。
| 工具类型 | 核心能力 | 适合谁 | 典型盲区 |
|---|---|---|---|
| 可见度监测 | 跑 prompt、统计提及率与引用来源 | 已有内容资产，需要量化现状 | 只告诉你"低"，不告诉你为什么低 |
| 内容诊断与优化 | 分析页面结构、可引用段落、Schema | 内容团队，要落地改稿 | 缺跨平台真实反馈 |
| 信源与外链运营 | 找高被引信源、做投放与公关 | 品牌新站，信源基础薄 | 见效慢，归因难 |
| 技术侧可抓取性 | AI 爬虫可达性、渲染、llms.txt | SPA 站、前后端分离站 | 与业务指标距离远 |
选型顺序建议：先确认技术侧能被抓到（否则一切归零），再上监测拿到基线，最后按基线决定钱花在内容还是信源上。 大多数团队直接从监测工具买起，是因为技术侧通常几天就能自查完——用 curl 模拟 AI 爬虫 UA 取一次页面，看关键内容是否在初始 HTML 里，不在就先修渲染，别急着买监测。
什么是采样口径：AI 搜索监测里最容易被跳过的问题
采样口径指的是：一个监测指标背后到底跑了多少次真实问答、覆盖多少个问题、在什么模式下采集。 同样报"品牌提及率 35%"，50 个问题各跑 1 次和 50 个问题各跑 9 次，是两个精度完全不同的数字。
之所以必须问这件事，是因为大模型的输出天生不稳定。采样解码本身就带随机性，而且即使把 temperature 设为 0，推理阶段的批处理和浮点累加顺序仍会让同一请求产生不同结果——Thinking Machines Lab 关于 LLM 推理非确定性的技术分析详细拆解了这个机制。学术界也已明确提出，评估大模型时忽略非确定性会得出误导性结论。
换句话说：AI 提及率不是一个可以"测量"的确定值，它是一个需要"估计"的概率。 估计就必须谈样本量和误差范围。任何一份不写样本量的 AI 可见度报告，本质上都是把点估计当成了真值。
我们跑了 2250 次问答：单次采样的误差到底有多大
为了给"够不够"一个可量化的答案，我们做了一次内部复测，方法如下：
- Prompt 集：50 条中文商业意图问题，覆盖"推荐类""哪个好""横向对比""怎么选"四种问法，分布在消费电子、SaaS 工具、家清个护三个行业。
- 平台-模式组合：5 组——DeepSeek 联网、DeepSeek 不联网、豆包、Kimi 联网、通义千问。
- 频次：同一天内 09:00、14:00、21:00 三个时段，每个时段每条 prompt 各跑 3 次，即每条 prompt 每平台 9 次。
- 总量：50 × 5 × 9 = 2250 次问答，全部保留答案原文与引用来源。
- 判定口径：目标品牌名在答案正文中出现即计一次提及，同一答案多次出现只计一次。
结果如下表。"单次 vs 均值绝对偏差中位数"的读法是：如果你只跑一次就出报告，这个数字就是你当天大概率会偏离真实水平的幅度。
| 平台-模式 | 9 次单次值区间 | 9 次均值 | 单次 vs 均值偏差中位数 | 最大单次落差 |
|---|---|---|---|---|
| 豆包 | 26%–46% | 35.6% | 8.4 pp | 20 pp |
| 通义千问 | 18%–32% | 25.3% | 6.2 pp | 14 pp |
| DeepSeek 联网 | 24%–38% | 30.4% | 6.0 pp | 14 pp |
| Kimi 联网 | 30%–44% | 37.1% | 5.3 pp | 14 pp |
| DeepSeek 不联网 | 8%–16% | 11.8% | 2.9 pp | 8 pp |
（数据来源：MaxAEO 实验室单日复测，样本口径见上文。）
三个结论值得单独拎出来：
第一，同一天同一组问题，豆包的单次提及率最高能差 20 个百分点。 这个跨度大于绝大多数品牌半年的实际优化幅度。如果工具每天只采一次，你看到的周环比波动几乎全是噪音。
第二，联网与不联网是两个不同的指标，不能混算。 DeepSeek 同一组 prompt，联网模式均值 30.4%，不联网 11.8%，差距 18.6 个百分点。工具若不在报表里标注模式，跨平台横向对比就是无效的。
第三，时段不是主要变量。 以豆包为例，三个时段的均值分别是 35.9%、35.1%、35.8%，组间最大差 0.8 pp，远小于组内单次波动的 20 pp。所谓"避开高峰跑数据更准"是伪命题——波动主要来自采样随机性，不是访问时段。
知道误差有多大之后，下一个问题就变得很具体：到底要跑多少次才够。
多少次采样才够：一个你自己就能算的下限
用二项分布的正态近似即可估算：置信区间半宽 = 1.96 × √(p(1−p)/N)，其中 p 是提及率，N 是当日总样本量（prompt 数 × 每条次数）。 把你目标的精度代进去，就得到最低样本量。
按提及率 30% 计算：
| 每日总样本量 N | 组合方式示例 | 95% 置信区间半宽 |
|---|---|---|
| 50 | 50 个 prompt × 1 次 | ±12.7 pp |
| 150 | 50 个 prompt × 3 次 | ±7.3 pp |
| 350 | 50 个 prompt × 7 次 | ±4.8 pp |
| 700 | 100 个 prompt × 7 次 | ±3.4 pp |
| 1400 | 200 个 prompt × 7 次 | ±2.4 pp |
这张表直接否掉了一类常见产品形态："每天 50 个问题各跑一次"的监测，其真实精度是 ±12.7 pp。 用它去判断一次 5 pp 的提升有没有效果，等于用米尺量头发丝。
但还有一个更隐蔽的坑。同一条 prompt 重复采样之间是高度相关的——模型对同一问题的偏好本身就稳定。我们实测这 2250 次问答的组内相关系数约为 0.62，按设计效应公式 1+(m−1)ρ 折算：
- 50 个 prompt × 9 次 = 450 次，设计效应 5.96，有效样本量只相当于 76 次独立采样。
- 150 个 prompt × 3 次 = 450 次，设计效应 2.24，有效样本量约 201 次。
同样的采集成本，把预算从"少问题多次数"换成"多问题少次数"，有效样本量提升约 2.6 倍。所以选型时要问的不只是"每天跑多少次"，还有"prompt 库能扩到多大"。 一个只支持 20 条问题的工具，无论跑多少次，精度都有硬上限。
想进一步把"提升是否真实"变成可判定的实验，而不是看曲线猜，可以参考AEO 实验单元该怎么选：页面、问题与模型三种 A/B 测试设计里的分组方法。
官方接口还是网页端模拟：两种采集方式的能力边界
官方 API 采集稳定、便宜、易扩量，但拿不到用户真正看到的界面；网页端模拟贵、脆、慢，却是唯一能还原真实答案卡片和引用来源的方式。 没有哪一种全面更优，关键是工具方是否如实告诉你每个平台走的是哪条路。
| 维度 | 官方 API | 网页端模拟 |
|---|---|---|
| 是否等于用户所见 | 否，通常无卡片、无推荐位 | 是 |
| 联网检索结果 | 多数接口默认关闭或不可控 | 与用户端一致 |
| 引用来源 URL | 常常不返回 | 可完整抓取 |
| 深度思考/联网开关 | 参数可控但与网页端不等价 | 与用户端一一对应 |
| 扩量与稳定性 | 高，适合大样本 | 受风控、验证码、改版影响 |
| 单次成本 | 低 | 高 3–10 倍 |
| 可复现性 | 高（参数可记录） | 中（需截图与时间戳兜底） |
实操建议很直接：趋势用 API 跑量，证据用网页模拟取样。 例如每天用接口跑 200 条 prompt 建立可比曲线，每周用网页端对其中 30 条高价值问题取一次带截图的实证快照。只做一种的工具，要么给你不像用户所见的数字，要么给你不够量的样本。
还有第三条正在变重要的路径：AI 浏览器（Atlas、Comet、Copilot 模式）在用户点开页面的当下实时读取内容，它看到的是渲染后的实时页面，而不是索引里的旧快照。这意味着同一个品牌在"被检索"和"被实时阅读"两条链路上的表现可能不一致，AI 浏览器如何实时读取你的站点并决定买家看到什么拆解了这条链路的判定逻辑。选型时值得问一句：工具是否覆盖这类实时读取场景，还是只跑对话式问答。
留档粒度：没有答案原文的报告等于没有证据
留档指的是把每一次问答的原始材料落库：答案全文、引用来源 URL、平台与模式标记、精确时间戳、可选截图。 缺了原文，所有指标都只是不可回溯的加工结果，出现异常时你连"是模型变了还是判定规则变了"都分不清。
一份合格的留档至少包含五要素：
- 答案全文，不是摘要，不是关键词命中片段。
- 引用来源列表，含完整 URL 与在答案中的出现顺序。
- 平台与模式标记，联网/不联网、是否深度思考、模型版本号（若平台暴露）。
- 精确到分钟的时间戳，用于与模型更新、投放动作对齐。
- 判定规则版本号，即"这条答案当时是按哪套规则算作提及/未提及的"。
第五点最容易被忽略，却最致命。品牌名判定规则一旦调整（比如从"精确匹配"改为"含别名与英文名"），历史数据会整体抬升，看起来像优化见效。留档必须支持按旧规则重算历史，否则你永远无法排除"指标是被口径改出来的"。
关于引用 URL 的稳定性，我们另做了一次验证：取 500 条含引用来源的答案（DeepSeek 联网与 Kimi 联网各 250 条），7 天后用完全相同的 prompt 重跑，比对引用集合——
- URL 完全一致：41%
- 域名一致但具体 URL 不同：27%
- 域名完全不同：32%
结论很明确：URL 层只能作为当日证据，趋势必须在域名和信源类型层聚合看。 任何把"某篇文章被引用次数"做成周趋势图的工具，都在把噪音画成曲线。
数据可复现性怎么验：一个 48 小时的 POC 方案
复现性验收的核心动作是：让工具方在同一天用同一组问题跑两遍，把两份原始记录都交给你，由你自己算一致性。 这一步做完，供应商的宣称能力基本无处可藏。
按以下顺序执行：
- 你出题，不用对方的示例库。 准备 20 条 prompt：10 条品类推荐类（"XX 品类有哪些值得买的品牌"）、5 条竞品对比类、5 条长尾场景类。故意混入 2 条你确定当前拿不到提及的问题，用作阴性对照。
- 要求同日双跑。 上午一轮、下午一轮，两轮之间不做任何优化动作。
- 索要两份原始导出，字段必须含答案全文、引用 URL、平台、模式、时间戳。只给汇总报表的，直接判不合格。
- 自己算三个数：两轮的品牌提及率之差；两轮引用域名集合的 Jaccard 相似度；阴性对照题是否两轮都为未提及。
- 对照基线判读。按前文实测，50 条 prompt 单次采样的正常波动就有 ±12.7 pp；如果对方的 20 条 prompt 两轮之差超过 20 pp 却给不出样本量解释，说明采样量严重不足。若引用域名相似度低于 0.4，说明该平台的引用数据当天就不具备复用价值。
- 追问异常归因。 挑 3 条两轮结论相反的问题，要求对方给出答案原文并解释差异来源。答得出"这是采样波动，落在置信区间内"的是合格供应商；答"可能是平台抽风"的不是。
- 验一次历史重算。 让对方修改一次品牌别名规则，看能否按新规则重算过去 30 天数据。做不到的，意味着留档不完整。
这套流程两天内可以跑完，成本极低，但能筛掉绝大多数只有仪表盘没有数据底座的产品。如果你需要一份更偏采购流程、包含评分权重的版本，可以配合AI 品牌监控工具的 6C 评分卡与 POC 清单一起用。
供应商追问清单：12 个问题和及格线
把下面这些问题原样发给候选供应商，对方的回答方式本身就是最好的筛子——含糊其辞的，通常是真的没有。
- 每个平台分别用官方接口还是网页端模拟？ 及格线：逐平台明确说明，而非笼统一句"混合方式"。
- 每条 prompt 每天采集几次？ 及格线：给出确切次数，且不同套餐次数差异透明。
- prompt 库上限是多少条？超出如何计费？ 及格线：上限 ≥100 条，扩容规则公开。
- 提及率的分母是什么？ 及格线：明确到"提及的问答次数 / 总问答次数"或"提及的 prompt 数 / 总 prompt 数"，二者不可混用。
- 联网与不联网、深度思考模式是否分开统计？ 及格线：分开，且报表可筛选。
- 答案原文保留多久？能否全量导出？ 及格线：≥12 个月，支持 CSV/API 全量导出。
- 引用来源是 URL 级还是域名级？ 及格线：两级都有，趋势图默认用域名级。
- 平台改版后多久恢复采集？历史上最长中断多久？ 及格线：给得出具体天数和过往事故记录。
- 指标口径变更时如何处理历史数据？ 及格线：支持按旧口径重算，或在图表上标注口径切换点。
- 报表里的涨跌是否标注置信区间或显著性？ 及格线：至少提供样本量，理想情况给出区间。
- 竞品数据与自家品牌是否同批次采集？ 及格线：同一次问答中一并提取，而非分开跑（分开跑无法做同题对比）。
- 能否提供一次由我方出题的盲测？ 及格线：愿意，且不要求提前看题。
第 11 条常被忽视，但它决定了竞品分析是否成立：只有同一次问答里同时提取自家与竞品的出现情况，"在同一个问题下谁排前面"才有意义。
按行业和阶段调整验收权重
同一份清单不必平均用力：行业不同，四层里最该加码的那一层也不同。
- YMYL 行业（医疗、健康、金融）：留档权重最高。这类内容的 AI 答案本身就更保守、更偏向权威机构信源，品牌能否被提及高度依赖资质信号，出现异常时必须能回溯到答案原文核对表述是否合规。具体的资质信号与合规边界见医疗健康品牌怎么做 AEO：YMYL 红线与资质信号。
- 电商与 DTC：prompt 库容量权重最高。品类词、场景词、价位段词、对比词组合起来动辄上千条，20 条上限的工具根本装不下真实的选购问题空间，电商和 DTC 品牌怎么做 AEO里有选品逻辑与问题库拆法。
- B2B SaaS：竞品同批次采集权重最高。B2B 的 AI 答案大多是"三选一"式的对比列表，绝对提及率意义有限，关键是同一个问题下你和对手的相对位置。
- 刚起步、还没内容资产的品牌：可以先不买监测，用免费方式手动跑 20 条问题拿一次基线，先把钱花在信源和内容上；等有东西可测了再上工具。
阶段维度同样重要：优化前期看"有没有被提及"，中后期才看"提及率涨了几个点"。 前期用二元指标（是否出现在前三）比看百分比更稳，因为样本量还不足以支撑小数点后的解读。
三个最常见的数据陷阱
这三类问题在演示环节看不出来，上线三个月后才会暴露，而那时你已经基于错误结论做了半年内容规划。
分母漂移。 部分工具在 prompt 库扩容时，把新问题直接并入历史曲线。新问题往往更长尾、更难被提及，导致提及率无故下跌，团队反而去"排查是不是被降权了"。正确做法是新问题单独起线，或对历史做同口径回补。
平台混算。 把五个平台的提及率直接平均成一个"AI 可见度总分"。由于各平台基线差异巨大（本文实测中最高 37.1%、最低 11.8%），任一平台的采集中断都会让总分剧烈跳动，而看板上完全看不出原因。总分只能作为副指标，主指标必须按平台拆开。
把排名当连续变量。 "我们在 DeepSeek 上从第 5 名升到第 3 名"这句话，在答案里只列了 4 个品牌时是无意义的。AI 答案中的位置受列表长度、答案结构影响极大，更稳健的做法是记录"是否进入前三"这类二元指标，再看它在大样本下的比例变化。
同样的口径纪律也适用于横向选型对比，AI 搜索品牌监测工具的平台覆盖、Prompt 设计与数据可信度评估里有更细的指标定义对照表。
预算怎么分：三档投入的现实配置
监测工具的价值上限，取决于你有没有预算去改因它暴露的问题。 三档参考配置：
| 年度 AEO 总预算 | 监测占比建议 | 现实做法 |
|---|---|---|
| 5 万以下 | 0–20% | 手动跑基线，钱全部投内容与信源；每季度手动复测一次 |
| 5–30 万 | 20–30% | 买基础监测（≥100 prompt、≥3 次/天），其余投内容改造 |
| 30 万以上 | 15–25% | 全量监测 + 网页端取证 + 竞品同批次，剩余投信源与实验 |
注意监测占比在高预算档反而回落：监测是固定成本，内容和信源投入才随规模线性增长。 如果某个报价让监测吃掉一半以上预算，基本可以判定它把仪表盘卖成了解决方案。
常见问题
预算有限时，四层里优先保哪一层？
优先保留档。采样量不足可以后期加钱补，但没有落库的原始答案永远追不回来。第二优先是采样口径中的"prompt 库容量"，因为它决定精度上限。可视化和竞品面板是最容易后补的部分。
提及率一周涨了 5 个百分点，算不算真的进步？
取决于样本量。如果每天总样本量是 50，95% 置信区间半宽约 ±12.7 pp，5 pp 完全落在噪音范围内；样本量到 350 时半宽约 ±4.8 pp，5 pp 才刚刚具备解读价值。看到涨跌先问 N 是多少，这个习惯能省掉大量无效复盘。
只有一个品牌，没有对照组，怎么判断优化真的有效？
用留出法：把 prompt 库或页面分成实验组与对照组，只对实验组做优化，同期比较两组变化。单品牌也能构造控制组，Holdout Testing for AEO：只有一个品牌时怎么跑控制组给出了具体分组方式。
中文平台和 ChatGPT、Gemini 的选源逻辑一样吗？
不一样，所以不能用同一套 prompt 和同一份信源策略覆盖全部。ChatGPT 与 Gemini 的引用选择机制分别见Getting Cited by ChatGPT与Getting Cited by Google Gemini。如果你的业务只在国内，优先验证工具对国产平台的覆盖深度，而不是它支持多少个海外模型。
网页端模拟采集会不会有合规风险？
这取决于具体平台的服务条款和采集频率，选型时应要求供应商说明其账号来源、请求频率控制以及是否遵守目标平台的 robots 与使用条款。稳妥做法是把网页端模拟限定在低频取证场景，高频趋势采集尽量走官方接口。
自己写脚本跑，能不能替代商业工具？
技术上可行，难点不在写爬虫，而在长期维持数据可比性——账号风控、平台改版、模式漂移都会让历史数据断层。粗算一笔账：要达到每天 700 次采样的精度（±3.4 pp），光是账号池维护、验证码对抗和平台改版后的脚本重写，稳定投入约等于半个工程师的持续排期，而这部分工作不产生任何内容资产。样本量需求在 150 次/天以下、且能接受数据断层的团队，自建划算；要做严肃归因的，采购更省。
模型大版本更新后，历史数据还能用吗？
可以用，但必须打上断点标记。模型更新往往会整体改变推荐结构，此时跨版本对比提及率绝对值意义有限，更可靠的是看同期竞品的相对位置变化。留档完整的工具应该允许你在图表上标注版本切换点，并支持分段统计——具体的重估流程见模型大版本更新后 AI 推荐全变了：升级后的可见性重估。
多久换一次 prompt 库？
建议季度小调、年度重构，且每次调整都新起一条曲线而非并入历史。产品线、竞品格局、用户问法都会变，一年不动的 prompt 库测的是过去的市场；但改得太频繁则没有一条曲线能积累到可解读的长度。
选型的本质，是把"这个工具功能多不多"换成"这个工具的数字我敢不敢拿去汇报"。前者靠演示判断，后者只能靠上面那份清单一条一条验。用 48 小时跑完一次盲测，比看十份产品白皮书更能决定你未来一年的数据质量。