大模型排行榜怎么看？4招识破跑分注水

你刷到过这种视频吗：某个AI说自己"跑分第一"，另一个说自己"超越GPT"。听起来都很厉害，但你真用起来，发现连个周报都写不明白。

问题不在你，在跑分本身。最近B站一个AI学习区的视频火了，主题就一句话：大模型跑分的水，比你想的深。

今天这篇文章，把水下的东西捞出来给你看。看完你会多一个本事：不被任何"跑分第一"忽悠。

一、跑分为什么会注水

先说结论：不是所有厂商都作弊，但排行榜这套玩法，天然容易被钻空子。有三个常见机制。

机制1：考题泄露

大模型的跑分，本质是做一套固定的测试题。题目是公开的，网上到处都能找到。

而模型训练用的数据，也是从全网抓的。这就尴尬了——考题混进了教材里。

这不是猜测。OpenAI在GPT-4的技术报告里自己承认过：训练结束后发现，某数学竞赛的真题已经泄露进了训练数据。等于学生提前背到了考题，分数还能说明真实水平吗？

机制2：应试训练

古人考科举，坊间流行"程文选本"——把历年高分文章编成册子让人背。背熟了确实能中，但背出来的状元，未必会治国。

大模型也一样。有些模型会针对知名榜单的题型做专门优化。榜单题做得漂亮，一到你的真实需求就露馅。

这背后有个规律叫古德哈特定律：英国经济学家古德哈特1975年提出——当一个指标变成了目标，它就不再是好指标。分数一旦成为KPI，大家优化的就是分数，不是能力。

机制3：盲测也有盲区

现在业内比较认的一种评测叫"盲测竞技场"：把两个模型的回答并排放，让真人投票选更好的。听起来很公平吧？

但2024年社区就发现：回答更长、排版更好看的，更容易拿到票。哪怕内容差不多。于是平台后来专门加了"风格控制"来修正这个偏差。

你看，连真人投票都会被"表面功夫"带偏，何况纯机器跑分。

二、4招识破注水，这张表值得存下来备查

普通人不需要懂技术，只要会问4个问题：

前3招是"排雷"，第4招是"验金"。而且第4招最重要——别人的榜单永远是参考，你的需求才是标准。

三、3分钟自测法：一套可以直接复制的模板

选AI工具别信广告，用这套模板亲自测。把【】里换成你的真实场景，发给候选的几个AI，对比回答：

测试1（日常任务）：
我在【公司做行政】，帮我写一份【下周部门例会的通知】，
要求：【100字以内，语气正式，包含时间地点】。

测试2（追问能力）：
（在测试1回答基础上追问）
把时间改成【周三下午3点】，地点不变，再补一句【请提前提交议题】。

测试3（说人话能力）：
用你奶奶能听懂的话，解释一下【什么是大语言模型】，
不许用任何英文和专业术语。

判断标准很简单：

• 测试1看格式听话不听话：要求的字数、要素，它漏了没有
• 测试2看改稿顺不顺手：是精准修改，还是整篇重写跑偏
• 测试3看翻译能力强不强：能把复杂东西讲简单，才是真懂

3个测试，3分钟，比看100个跑分榜单都管用。亲测有效。

四、为什么这事和你有关

你可能觉得：跑分注水是厂商的事，跟我有什么关系？

关系大了。

第一，省钱。 很多AI工具按"最强模型"收费更贵。你花高价买的"跑分第一"，日常用起来可能和免费的没区别。会测，就不花冤枉钱。

第二，防焦虑。 总有人说"再不用最强的AI就被淘汰了"。看懂跑分的水，你就知道：AI没有神话，工具只有合不合适。

第三，教孩子。 现在孩子也开始用AI写作业了。把"应试"和"真本事"的区别讲给孩子听——这道理科举时代就懂，AI时代更该懂。

写在最后

一千多年前，欧阳修主持科举，把满篇华丽辞藻的"太学体"文章黜落，提拔了苏轼、苏辙、曾巩这些说人话、有真知的考生。

历史早就告诉我们：分数会骗人，作品不会。

AI时代同样如此。榜单是给别人看的，好用是给你自己的。

你被哪个"跑分第一"的AI坑过？评论区聊聊，帮后来的人避雷。

转给TA

转给那个正在纠结"买哪个AI会员"的同事——先用这3个测试题自己测一遍，别为一个榜单第一名多花冤枉钱。也转给家里帮孩子挑学习工具的家长，"应试高手"和"真有本事"的区别，这篇文章讲透了。

关注「xAI智工场」，每天一篇AI实操。明天更新：《热搜背后的AI避坑指南：那些爆款AI工具广告不会告诉你的事》

三入口：

• 公众号：xAI智工场（关注回复「提示词」领100+实用模板）
• 微信号：xaizgc
• 知识星球：AI实操干货+每月更新，年费99元