这周知乎热榜上挂着一个看起来很"学院派"的问题：Transformer模型为何如此深刻地改变深度学习？
巧的是，就在问题上榜前几天，斯坦福大学计算机科学博士、前Cartesia研究科学家Alex Wang在10月15日发了一篇博客，标题相当狂：《You could have invented transformers from memory》——你本可以凭"记忆"发明Transformer。机器之心等媒体报道后，这篇博客迅速在社交媒体上引发关注。我把这篇博客的报道和这周几篇讲Transformer架构演进的文章拼在一起看，发现它们正好互为表里：一个讲"它为什么聪明"，一个讲"它为什么跑得快"。凑齐这两块，这个9年前的老架构为什么能统治今天的AI，就说得通了。
第一块拼图：注意力本质上是个超大号"记忆库"
Alex Wang那篇博客给了一个很统一的视角：神经网络的各种层，其实都可以看成不同形式的"联想记忆存储器"——区别只在于能存多少条记忆、取的时候互相干扰有多大。
他做了个理想化的随机记忆实验，同样用64维的Key：最简单的线性存储器，容量约64条；平方ReLU构成的GLU式MLP，能存约2700条；而采用固定缩放系数的自注意力（Self-Attention），理论容量约120万条。从64到120万，差了近两万倍。
为什么差这么多？博客的推导路径很妙：想在干扰淹没信号之前装下更多记忆，就要"用上所有幂次"来压制干扰，于是指数函数登场；再做归一化，Softmax就自然浮现了——自注意力的数学形式，本质上是一个被记忆容量逼出来的设计。
翻译成人话：以前AI的"记性"像一块小黑板，写新擦旧；Transformer给了它一座图书馆，想取哪条取哪条。你问AI"我开头说的那个预算是多少"，它真能翻回去找到，靠的就是这个。
第二块拼图：它让GPU第一次"吃饱了"
光记性好还不够。在Transformer之前，主流是RNN、LSTM这类循环网络，它们像人读书一样逐词处理：第n个词必须等前n-1个词处理完，才能开始算。这带来两个死结——GPU的并行算力完全用不上；句子一长，开头的信息经过层层传递就被稀释遗忘了。
2017年那篇《Attention Is All You Need》干的事，用腾讯新闻一篇架构演进文章的说法，就是"用注意力完全取代循环结构"：处理每个词时直接查看句子里的所有其他词，按相关程度加权汇总，所有位置同时计算。一层注意力加一层前馈网络构成基本单元，堆叠数十层就是一个Transformer。
"同时计算"这四个字才是改变命运的关键词。它让训练可以铺满成千上万块GPU，模型规模从此可以粗暴地往上堆——后来的BERT、GPT，包括今天你用的所有大模型，全都站在这条路上。可以说，没有并行化，就没有scaling law，也就没有ChatGPT时刻。
一个反直觉的后续：注意力也开始"断舍离"了
有意思的是，统治了9年的架构，现在正被它自己的成本反噬。注意力机制要把每个词跟前面所有词两两比对，计算量随句子长度平方增长——一句4096个词的话，就是几百万次比对。这也是为什么各家大模型的长上下文又贵又慢。
这周腾讯新闻报道的一项新研究给了个反直觉的结果：在4096个词的句子中，让每个注意力头只看2个词，模型损失几乎不受影响；允许看4个词，效果甚至比全都看一遍还略好。"看得少但看得准"，而且"看哪儿"由内容动态决定。这大概预示了下一轮架构演进的方向：不是让AI看得更多，而是看得更值。
这事跟你用AI有什么关系
懂了"平方级成本"这一层，很多日常现象就通了：为什么长文档处理收费更高、为什么对话太长AI会"失忆"或被要求重开、为什么把关键信息放在提示词开头往往效果更好——都是同一张账单的不同侧面。
下次再遇到长资料，不妨试试拆成小块分批喂给AI，每块开头把核心诉求说清楚。我们自己搭的工具站 spark1.cn 里，/ai-writer 和 /tools/ 下的工具也都遵循这个思路：把长任务拆短，让每次调用都在注意力最"值钱"的区间里干活。
技术史的迷人之处就在这：一个2017年为机器翻译设计的架构，因为"能并行"和"记性好"两件朴素的事，一路托起了今天的整个AI时代。看懂它为什么赢，你也就看懂了今天AI的脾气和账单。
评论