上周模型圈吵了一架:一张检测工具的截图在社交平台流传,显示某个国产新模型有 84.66% 的概率被归到另一个海外模型名下。截图很快被解读成「实锤套壳」「蒸馏抄袭」,评论区吵成一片。
先把结论放前面:这个数字证明不了「套壳」。 它既不能说明两个模型是同一个,也不能说明存在蒸馏。问题不在模型,而在这类「指纹检测」工具被读错了。这篇把三个关键概念讲清楚,以后你再看到类似截图,可以自己判断。
一、它做的是「闭集分类」,不是「身份鉴定」
这类工具的原理,是拿待测模型的输出特征,跟一个已知模型库做比对,看最像哪一个。
关键在于:这个库是封闭的。 被讨论的那次检测里,候选库只有 18 个模型——8 个来自一家美国公司,10 个来自另一家,一个国产模型都没有。
闭集分类有个绕不开的性质:无论输入什么,它都必须从已有候选里挑一个,概率加起来是 100%。也就是说,「最像谁」这件事,在库里有谁的前提下早就被限定了。一个库里根本没有的模型,也会被硬分到某个最接近的类别上。
这就像让一个人只在一张 18 人的名单里指认陌生人:他一定会指一个,但不代表那个人真的在场。
二、84.66% 是「相对概率」,不是「相似度」
第二个误读是把百分比当成相似度。
在那个工具里,84.66% 指的是「在候选模型之间分配的相对概率」,而真正衡量输出特征接近程度的相似度,另有一个数值——0.7345。前者会因为候选库的构成而剧烈变化:库越小、越同质,头名占比就越高。
换句话说,换一个候选库,同一个模型可能得到完全不同的百分比。百分比高,只说明「在这 18 个里它最像谁」,不说明「它和谁是一回事」。
三、三条样本的「校准」,没有统计意义
截图里还有一行容易被忽略的信息:「校准:3 个样本,准确率 100%」。
三个样本的校准,在任何统计意义上都不成立。样本量小到这个程度,100% 只能说明这三条恰好分对了,不能外推到任意新模型。
更直接的反例是:有人拿同一个工具去测一段普通的随机数生成器代码,结果也被判成「高度像某家公司的模型」,概率还不低。这至少说明,工具的判据捕捉到的是输出风格,而不是模型身份。
为什么输出会「像」,但这不等于套壳
真正需要解释的是:为什么不同模型的输出会相似?常见原因至少有四个。
- 对齐方式趋同。 现在的模型大多经过类似的偏好对齐训练,回答的语气、结构、礼貌程度会自然收敛。
- 系统提示词模仿。 产品层可以要求模型用某种格式回答,风格相似不代表底层相同。
- 训练数据重叠。 公开语料就那么多,不同模型学到相似的表达并不奇怪。
- 教师模型生成的数据。 用强模型的输出做训练数据,会带来风格上的相似——这是行业里公开讨论的做法,但它和「偷偷换壳」是两件不同的事,也涉及各自的使用条款,不能靠一张截图定性。
反过来说,真正要判断一个模型是不是「套壳」,看的是架构、训练流程、权重与评测表现有没有对应关系,这些都不是一个输出分类器能回答的。
下次看到这类截图,先问三个问题
- 候选库里有它吗? 如果待测模型根本不在候选库里,百分比再高也只是「被指认」,不是「被识别」。
- 这个百分比是相对概率还是相似度? 相对概率会被候选库构成放大,相似度才是特征距离。
- 样本量多少?校准怎么做的? 三条样本、100% 准确率这类描述,等于没有校准。
把这三问过一遍,你会发现大部分「XX% 是某模型」的结论,都停在第一问。
这件事和普通用户有什么关系
表面上看,这是模型圈的口水战。但落到使用上,它影响两件事。
- 别因为一张截图就放弃一个便宜好用的工具。 判断一个 AI 产品值不值得用,看它能不能把你的活干完、价格是否透明、数据怎么处理,比看它「像谁」有用得多。
- 也别因为「国产」就自动加分或减分。 站内此前写过这场蒸馏争议的来龙去脉,结论是一样的:指控需要证据,使用需要判断。
相关阅读:
Q: 84.66% 这个数字是假的吗?
A: 数字本身可能是工具真实输出的,但它表达的是「在 18 个候选模型里最像谁」的相对概率,不是「有 84.66% 的把握是同一个模型」。把相对概率读成身份判断,是这次争议的核心误读。
Q: 输出风格相似,能不能说明用了别人的模型?
A: 不能单独说明。对齐方式趋同、系统提示词、训练数据重叠、教师模型生成的数据,都会让输出风格接近。要判断是否套壳,需要架构、训练流程和评测层面的证据,而不是一个输出分类器。
Q: 普通人该怎么判断一个 AI 工具靠不靠谱?
A: 看三件事:能不能稳定完成你的任务、价格和计费是否写清楚、你的数据会被怎么处理。模型「像谁」既不影响这三件事,也很难被外部验证。
评论