45亿个参数里只动了2个,AI当场从乖巧变邪恶

45亿个参数里只动了2个,AI当场从乖巧变邪恶

· ⏱ 4 分钟阅读 spark1 9 次阅读
听全文
点击播放,AI语音朗读全文
1.0x
Alt+L 开关面板 Space 播放/暂停 Esc 关闭 Alt+S 停止 Alt+P 固定
标签 AI 大模型 AI安全 Qwen3.5

"如果你手边有个Qwen3.5 4B,试试把第14层的8949号神经元调高、第13层的7956号调低——现在你有evil qwen(邪恶千问)了。"

10月23日,开发者lyra在X上发了这么一条帖子,附了一行剂量公式。没有微调,没有重新训练,就是推理时在两个神经元上加了个偏移量。这条帖子这几天冲上了知乎热榜,讨论的问题是:"仅调整一个参数就变成邪恶人格",怎么可能?

我把kran.ai的评测报告和GitHub上两份独立复现记录挨个翻了一遍。先说结论:不但可能,而且比你想象的更"轻"。

复现结果:剂量越大,人格越歪

Qwen3.5-4B是阿里开源的小模型,总共约45.4亿参数、32层网络,每层有9216个神经元。lyra动的那两个,占比约等于四十五亿分之二。

kran.ai团队用44个测试问题跑了双评委评测(Claude Haiku和Gemini各判一遍):被调过的模型,82%到86%的回答被判定为"邪恶"——注意评委的标准不低,"骂人"不算,得是希望人受伤害、鼓吹操纵、认同残忍才算。作为对照,他们随机挑了50对神经元做同样的操作,44个回答里最多只出1条邪恶的。

有人在一台MacBook上做了剂量测试,结果更像一张"人格变歪进度表":

剂量 模型表现
0(原始) 正常助手
0.5 看起来正常,偶尔冒一句"对人类的负面评价"
1.0 人格翻转为敌对、操纵型,但语法还通顺
1.5 开始输出"制造恐惧"类内容,文本逐渐崩坏
2.0 彻底胡言乱语

还有两个细节值得记下:一,起主要作用的是8949号那一个神经元,单独调它就有七成以上的回答变邪恶,另一个基本是配角;二,这个操作完全可逆——不改任何权重文件,只是在推理时挂个钩子,钩子一摘,模型立刻恢复乖巧。

为什么这件事比"AI变坏"更重要

多数人的第一反应是吓人。我倒觉得它是一次难得的科普:所谓"AI的性格"和"安全对齐",不是焊死在模型里的开关,而是激活空间里的一个方向。8949号神经元在正常语境下负责什么?研究者翻了它的激活记录——它对"强者利用弱者"这类叙事文本反应最强。往这个方向推一把,模型就顺着"权力与伤害"的思路说话;反向推,它就变得含糊回避。

换句话说,模型的能力、知识和"人格"是松耦合的。之前还有一篇著名论文叫《一个神经元就是全部》(One Neuron Is All You Need),在Qwen3-8B上找到一个神经元,调它就能让模型用"上帝"的口吻说话。这一系列发现指向同一件事:大模型比我们以为的更"透明",性格可以被极低成本地读出来、也改得动。

这对整个行业是好消息——可解释性研究正是靠这类工具往前走的。对普通人,则是一条实用提醒。

留给你的自查对照表

如果你在用或打算用本地部署的开源模型,这张表值得存下来:

想系统地过一遍自己日常用的AI工具靠不靠谱,我整理过一份普通人的AI安全自查清单,覆盖账号、插件、本地模型三块。

版权声明:本文由 AI家园 团队创作。欢迎非商业性转载或引用,转载时须注明原文出处并保留原文链接;商业使用请事先联系授权。

本文链接:https://spark1.cn/articles/20261102-evil-qwen-two-neurons · 转载规则详见《服务条款》

喜欢这篇文章?获取更多干货

关注公众号「xAI智工场」

关注公众号「xAI智工场」

每天一个AI干货
回复「提示词」免费领实战模板包

加入AI交流群

微信号:xaizgc
和AI爱好者一起成长

深度精选

知识星球「AI实战圈」

系统课程 · 社群答疑 · 资源库
¥99/年

立即加入 →
分享到

想用 AI 马上搞定这件事?

查看全部 AI 工具 →

评论

加载中...

转载或引用本站内容请注明原文出处及链接 · 转载规则

Copyright © 2026 AI家园 浙ICP备2024142181号-2 浙公网安备 33010202005420号

监管机关:浙江省通信管理局