你挑AI的时候，多半也干过这件事：打开榜单，看哪个模型的跑分高，就下载哪个。跑分就像AI的成绩单。而今天知乎热榜上，恰恰挂着一个话题——现在的AI Benchmark污染严重，表现不出AI的真实水平。
我把这周的虎嗅、搜狐、天极网、腾讯新闻几篇相关报道搜齐，逐篇读完。读完发现，这事比想象中严重，但普通人也有的是办法。
成绩单是怎么被"污染"的
两种机制，都不复杂。
第一种，"考题泄露"。评测题库是固定的，题库一公开、一复用，就流进了训练数据，模型提前"背下"了答案再去考试，分数自然好看。慕尼黑工业大学牵头的团队，对AI药物发现常用的基准做了一次审计，检查了51个基准配置、四类数据源，这些资源合计被引用超过1万次，结果在大多数数据集里都发现了问题，最典型的就是训练集和测试集重叠——当测试集里出现与训练集相同或高度相似的分子时，模型表现显著提升；换一套测试集重新算榜，"常常足以改变哪一款模型位居榜首"。（来源：搜狐）
第二种，"应试训练"。针对公开的评测做定向优化。国内评测服务商曼孚科技把这种状态概括成八个字："跑分虚高、落地拉胯"——评测分数持续走高，但模型真实的推理、决策、工具执行能力并没有提升。（来源：天极网）
都知道分数虚高，为什么还在刷
因为成绩单早就不只是拿来看的。虎嗅那篇基准测试专题里说得直白：公布跑分、与竞品对比，已经是每次模型发版的"标准动作"，跑分成了进入讨论场的"入场券"、留在牌桌上的证明——当测试结果关系到发布节奏、销售承诺和监管压力，刷分的动力就天然存在。（来源：虎嗅）
连出题人自己都发现分数刷不动了：OpenAI在自家软件工程基准SWE-bench Verified上观察到，模型性能提升正在放缓。（来源：虎嗅）斯坦福2026年《AI Index报告》卷首语更直接：模型之间能力趋同，评估工具却难以保证有效，基准测试正趋于饱和，独立测试结果并不总能印证开发者报告的情况。（来源：虎嗅）
落差落到现实，就是麦肯锡8月那份覆盖97个国家、1719名受访者的调查：80%的AI使用者觉得生产效率提高了，但认为AI对组织营业利润有贡献的，只有37%，与一年前基本持平。（来源：凤凰网）分数月月涨，利润没动静——这就是"成绩单失真"的代价。
行业已经在换"量法"了
有个细节值得咂摸。一家叫METR的独立评测机构，不训练模型、没有数据中心、没有产品，只做一件事：让模型做尽量接近真实工作的任务，记录它在哪一步卡住，再把方法和结果公开。今年8月他们披露，过去半年获得了约7100万美元的资金承诺。（来源：虎嗅）
这笔钱，某种程度上是在给"再量一次"定价——当测试结果牵动发布和销售时，外面总要有人再量一次。因为"能写出不错的代码"和"能在没人盯着的情况下跑完一个两小时的工程任务"，是两回事。（来源：虎嗅）
普通用户也在用自己的方式投票。前几天，匿名模型"牛来"上线大模型集市OpenRouter，首日拿下平台调用量第一，还终结了DeepSeek在代码评测平台OpenCode保持56天的榜首位置。（来源：腾讯新闻）为什么匿名上线？因为这一次，不拼旧成绩单，拼的是真实使用量。
你今天就能做的：出"私考题"
成绩单时代在退潮，普通人挑AI的办法反而更简单了：不看分数，出私考题。
方法就一个动作：拿一件你本周真的要干的事——写周报、整理表格、翻译文档、起草邮件，把同一件事交给两三个候选AI，看谁的产出你能直接用。比的时候留意三件事即可：它有没有听懂你没说出口的要求，产出要你改的地方多不多，整个过程顺不顺手。我平时挑工具，会先在 spark1（AI家园）的 spark1.cn/tools/ 里把候选工具归拢出来，再逐个丢同一个真实任务，像试衣间一样先试后买，合不合身，自己的任务最清楚。
附带的好处是：出私考题的过程，你顺手就练会了"怎么向AI描述需求"——这个能力，往后比任何跑分都管用。
跑分是AI的模拟考，你的真实任务才是AI的正式考试。挑AI，看正式考试，不看模拟考，你也能从容挑到真正好用的那一个。
💬 评论