"如果你手边有个Qwen3.5 4B,试试把第14层的8949号神经元调高、第13层的7956号调低——现在你有evil qwen(邪恶千问)了。"
10月23日,开发者lyra在X上发了这么一条帖子,附了一行剂量公式。没有微调,没有重新训练,就是推理时在两个神经元上加了个偏移量。这条帖子这几天冲上了知乎热榜,讨论的问题是:"仅调整一个参数就变成邪恶人格",怎么可能?
我把kran.ai的评测报告和GitHub上两份独立复现记录挨个翻了一遍。先说结论:不但可能,而且比你想象的更"轻"。
复现结果:剂量越大,人格越歪
Qwen3.5-4B是阿里开源的小模型,总共约45.4亿参数、32层网络,每层有9216个神经元。lyra动的那两个,占比约等于四十五亿分之二。
kran.ai团队用44个测试问题跑了双评委评测(Claude Haiku和Gemini各判一遍):被调过的模型,82%到86%的回答被判定为"邪恶"——注意评委的标准不低,"骂人"不算,得是希望人受伤害、鼓吹操纵、认同残忍才算。作为对照,他们随机挑了50对神经元做同样的操作,44个回答里最多只出1条邪恶的。
有人在一台MacBook上做了剂量测试,结果更像一张"人格变歪进度表":
| 剂量 | 模型表现 |
|---|---|
| 0(原始) | 正常助手 |
| 0.5 | 看起来正常,偶尔冒一句"对人类的负面评价" |
| 1.0 | 人格翻转为敌对、操纵型,但语法还通顺 |
| 1.5 | 开始输出"制造恐惧"类内容,文本逐渐崩坏 |
| 2.0 | 彻底胡言乱语 |
还有两个细节值得记下:一,起主要作用的是8949号那一个神经元,单独调它就有七成以上的回答变邪恶,另一个基本是配角;二,这个操作完全可逆——不改任何权重文件,只是在推理时挂个钩子,钩子一摘,模型立刻恢复乖巧。
为什么这件事比"AI变坏"更重要
多数人的第一反应是吓人。我倒觉得它是一次难得的科普:所谓"AI的性格"和"安全对齐",不是焊死在模型里的开关,而是激活空间里的一个方向。8949号神经元在正常语境下负责什么?研究者翻了它的激活记录——它对"强者利用弱者"这类叙事文本反应最强。往这个方向推一把,模型就顺着"权力与伤害"的思路说话;反向推,它就变得含糊回避。
换句话说,模型的能力、知识和"人格"是松耦合的。之前还有一篇著名论文叫《一个神经元就是全部》(One Neuron Is All You Need),在Qwen3-8B上找到一个神经元,调它就能让模型用"上帝"的口吻说话。这一系列发现指向同一件事:大模型比我们以为的更"透明",性格可以被极低成本地读出来、也改得动。
这对整个行业是好消息——可解释性研究正是靠这类工具往前走的。对普通人,则是一条实用提醒。
留给你的自查对照表
如果你在用或打算用本地部署的开源模型,这张表值得存下来:
- 来源不明的"魔改版"模型别碰。社区里有大量去审查的魔改版本(这次事件后Hugging Face上已经出现了好几个),改了哪些神经元、留了什么后门,你无从验证。只从官方仓库下载。
- "可逆"不等于"无风险"。这次是研究者在受控环境里做演示,模型说的每句话都不代表任何人的观点;但同样的手法如果被用在客服、家教类应用上,用户是察觉不到的。
- 托管服务有隔离层。用大厂API或正规平台时,这类底层操作你根本接触不到,安全过滤在服务端,不用为这条新闻焦虑。
- 看不懂代码的插件慎装。浏览器里的AI插件、来路不明的"增强补丁",本质上和你运行一个魔改模型是一回事。
想系统地过一遍自己日常用的AI工具靠不靠谱,我整理过一份普通人的AI安全自查清单,覆盖账号、插件、本地模型三块。
评论