Skip to content
技术派罗恩
Go back

我审计了一份第三方 GEO 检测报告,教你怎么看数据水分

十月初,一个朋友给我发来一个链接,附带一句:

「帮我看看这份GEO报告,现在GEO很火,各个企业都在做,我想搞个代理做做,你看看这家代理商出的GEO报告怎么样,我感觉数据漂亮得有点不真实,但又说不出哪里不对。」

这是一份 GEO 检测报告——检测一个学校品牌(成都某外籍人员子女学校)在豆包、元宝、DeepSeek 这些 AI 平台里被推荐的情况。8 个平台、15 道题、情感分析、竞品对比、六维雷达图、行业百分位,一应俱全。

综合 84 分,超过 78% 的同行,购买优化服务后可以做到 95 分。

我没有急着下结论。做数据的人都知道,越是漂亮的报表越要重数一遍。我打开浏览器开发者工具,看这个页面到底加载了什么。

结果比我预想的有意思。

我只做了一件事:看页面自己交代的数据

先说清楚审计方法,因为这一步比结论更重要。

一份在线报告页面,本质是前端拿一份数据包渲染出来的。这意味着:页面上每个数字,要么来自数据包里的原始值,要么是前端脚本现场算出来的。两者都摊在你面前。打开开发者工具的网络面板,找到那份 JSON;再看渲染脚本怎么消费它。不需要任何特殊权限,不碰对方后台,一切基于页面正常加载时主动交给浏览器的东西。

我用这个方法把报告页面拆了一遍:数据包是页面上一个叫 REPORT_DATA 的全局变量,由一个 normalizeData() 函数从原始 JSON 加工而来;渲染逻辑在一段 65304 字符的主脚本里,renderKPI 之类的函数逐个可读。

下面五个发现,全部来自这两处。我把它分成「页面实锤」和「合理怀疑」两类——前者是我重算过、代码里写死的,后者是数据形态可疑但后台无法核实的。这个区分后面还会用到。

水分一:总数凑平了,明细对不上

报告里最基础的表:每个平台、15 道题里提及了学校几次。我把数据包里的明细逐条重数了一遍。

平台报告声称我数出来题数
DeepSeek111015
豆包141415
元宝141415
通义千问101115
文心一言141415
纳米搜索5515
Kimi9915
智谱清言4415

平台计数声称值与页面实数对比(AI 生成示意图)

总数 81 对 81,看起来严丝合缝。但 DeepSeek 多算了一条,千问少算了一条。

总数凑平、明细错位,这个形态很有意思。如果是一次真实采集自动计数,明细应该天然一致;手工改过两个平台的数字又忘了总数,才会长这样。当然,也可能有别的解释。这是我说的「合理怀疑」,但它至少说明:这份报告的数字没经过最基本的自检。

顺带一提,DeepSeek 的提及率写着 0.73。可 10/15 是 0.67,11/15 才是 0.73。

水分二:15 道题的「正面证据」,其实是同一句话

每道题下面都挂着几条「正面评价片段」,两三条到八条不等,看起来证据充分。

但数据包里每道题都有一个字段:独立证据数(uniqueSnippets)。15 道题,全部等于 1。

意思是:不管这道题下面列了多少条正面表述,都出自同一段素材。同一句「IB 均分 38.2,有牛剑 offer」,同时支撑了「学校怎么样」「学费值不值」「升学怎么样」「师资怎么样」四五个问题的结论。

图 2:唯一素材辐射支撑 15 道题(AI 生成示意图)

这不算撒谎。只是 15 道题、每题平均 5 条正面片段,看上去 70 多条证据的量,独立来源始终是那一个。

水分三:4 条引用,来源写着 virtual

报告的「自媒体引用」部分,统计了知乎、公众号、百家号、小红书这些平台上关于学校的引用内容,共 12 条。

数据包里这 12 条引用带来源标记:8 条标 search,4 条标 virtual。

virtual 是什么?翻译过来:这 4 条不是从任何平台搜出来的,是生成的。它们出现在「自媒体引用」列表里,和真实搜到的 8 条混在一起,页面上看不出任何区别。

图 3:search 与 virtual 引用并排展示(AI 生成示意图)

引用的平台分布,声称和实数也对不上:微信公众号 3 条实为 2 条,百家号 2 条实为 3 条;权威媒体那 11 条里,声称的 7 个来源实际只出现 6 个。

水分四:行业基准和百分位,是后台发的三个现成数字

报告顶部最抓眼球的三个数:综合 84 分、行业基准 65、超过 78% 的同行。

在数据包里它们是同一个 score 对象下的三个字段:total、benchmark、percentile。值都是现成的。「行业基准 65」不需要页面算什么,后台发什么就显示什么;渲染函数的工作,是画一个仪表盘。

哪个行业?多少家同行?分位数怎么算的?无从考证。

图 4:总分填入六个维度,score 三字段现成下发(AI 生成示意图)

同一套渲染逻辑里还有个更妙的处理:官网六维雷达图,在分项数据缺失时,把官网总分填进六个维度。六边形看起来饱满均衡,实际数据点只有一个。这份样本正好命中了这个分支——那张漂亮的六边形雷达图,是总分的一次六次方展示。

还有「竞品优势 1.8 倍」这种指标,实现方式是本品牌得分除以竞品平均得分,两个分都是后台给的。

水分五:优化预测,84 到 95 的对称魔术

报告最后一节是「优化预测」:当前 84 分,购买优化服务后 95 分。

四个维度各自的提升:可见度 85→95、内容 82→92、权威 88→95、互动 80→90。清一色 +10 左右。

图 5:84→95 的对称提升(AI 生成示意图)

做过预测模型的人都知道,真实的预测不会这么对称——不同维度的提升空间取决于基线、竞争强度和可操作性,必然有多有少。四个维度整齐划一的 +10,不是模型输出,是拍出来的定价依据:84 到 95,刚好够证明服务值得买,又不至于夸张到离谱。

情感分析那部分的 20 道题,我也数了一下,全部是品牌词问题——「X 学校怎么样」「X 学校学费贵不贵」这种,没有一道是无品牌提示的开放题。这正好踩中了 GEO 测量里最经典的口径陷阱:把「用户问了学校名字后 AI 复述了它」当成「获得了新曝光」。这道题库里 20 道题,全是前者。

先说句客观的公道话:它不算假报告

审计完这五处,我的结论反而是:这份报告不是全盘造假的空壳。

8 个平台、15 道题、81 条提及,采集是真做了的;大部分计数也对得上。如果它凭空编数据,反而好识别——总数对不上、平台行为模式不合理,一眼就能看穿。

真正难防的是这种:采集真的做,数据大体真,水分藏在证据复用、虚拟来源、直给的基准分、对称的预测里。每一处单独看都可以有解释,合在一起就是一份没经过验收、却拿来收钱和谈合作的商业报告。

还有一个边界要交代:我只审计了页面交付的数据和渲染逻辑,后台究竟怎么采集、有没有人工修饰,我看不到,也不下结论。这篇文章里所有「实锤」,都限于页面自己交代的部分。

针对GEO相关报告,我们怎么看

这事给我的最大启发,跟某一家做得行不行没关系:GEO 检测报告目前没有任何行业标准,你拿到手的每一份都应该先验收。方法不难,以下七条按优先级排:

  1. 要原始回答。每道题的 AI 回答原文 + 采集时间戳,给不出的直接出局。这是所有指标的地基,地基不给,上层全是对不上的账。
  2. 指标必须带分母。「提及率 93%」这种数没法验收;要说清「15 道题里提及 14 道,采集于某周三晚上 8 点,每题新会话」,才谈得上核对。
  3. 数一遍明细。声称的总数和明细自己加总对不对得上,是最便宜的自检。连这都错的,说明交付前没人看过第二遍。
  4. 查引用的来源标记。让供应商说明每条引用的来源字段含义,警惕 search 之外的任何标记:virtual、generated、synthetic,都是同一个意思。
  5. 问独立证据数。同一句素材被剪成多份用,直接问:这 N 条正面评价,独立来源几条?
  6. 基准分要求给算法。行业基准和百分位,必须能回答「样本是谁、多少家、什么时间窗、怎么算的」。答不上的,当成装饰看。
  7. 警惕无品牌题占比为零的提及率。全是「X 学校怎么样」这种题测出来的提及率,和真实获客能力是两回事。

这七条不针对任何一家。行业早期,真采集和真水分并存,区分的成本暂时落在买家自己头上。

总结

后来我把这次审计的证据存成了一份 JSON 留档,也成为我们后来自己做 GEO 监测平台时定数据口径的起点:每个指标必须能从原始回答重算,独立证据数直接进数据库字段,未知值不许当零处理。

那套平台怎么搭、跟这次审计的关联有多深,是下一篇文章的事。

至于朋友那单合作,后来确实没谈成,和他聊了之后他又去实地考察了一趟,回来跟我说,这家公司的业务重心其实放在代理加盟上,检测是那门生意里的一环。话里话外,收加盟费的味道比做检测重。他说幸好提前把数据拆了一遍,心里有了防范,看什么都有点祛魅了。现在GEO的风口大家都想抢占,这个可以理解,但是布局的同时,千万别被别人割了韭菜。

如果这篇文章对你有帮助,欢迎关注「技术派罗恩」,会不定时的分享一下对你真正有用的实战经验。


Share this post:

Next Post
开篇:技术派罗恩上线,聊 AI 实战、全栈工程和工程师搞钱