大模型训练动辄耗费数千张 GPU 跑上数月，很多人以为瓶颈在"算得不够快"。实际上，工程师花更多精力解决的往往是另一个问题——数据送得不够快。GPU 的算力核心（计算单元）每秒能做海量乘加运算，但如果内存来不及喂数据，算力就只能空转等待。这个矛盾在芯片行业有个专有名词：内存墙（Memory Wall）。
要理解这堵墙为什么存在、HBM 又是怎么翻过它的，我们得从"算"和"存"之间那条看不见的通道说起。
算力饥渴：GPU 算得再快也要"等数据"
一个简化的计算流程是这样的：GPU 先把需要处理的数据从显存搬到计算单元，算完再把结果写回显存。每一步计算本身可能只需要纳秒级时间，但搬运数据这件事比计算慢得多。
传统显存（如 GDDR6）的总带宽通常比 HBM 低一个数量级，而一块高端 GPU 内部可能有数千个计算核心同时工作。这就像一个厨房里厨师很多、灶台很猛，但食材只能从一扇小门递进来——厨师再能干也得排队等菜。当大模型的参数量从数十亿膨胀到数千亿，"等数据"的时间占比越来越大，算力利用率就上不去。
业界把这层矛盾叫"内存墙"：计算能力的增长速度远超内存带宽的增长速度，两者之间的鸿沟越来越大。关于 GPU 本身的结构，这篇 GPU 是什么 有系统科普。
HBM（High Bandwidth Memory，高带宽内存）就是为了翻过这堵墙而生的。
HBM 原理：像盖楼一样把内存叠起来
普通 DRAM 芯片是平铺在电路板上的——一块芯片占一块面积，数据从芯片边缘的引脚进出。要提高带宽，传统做法是加宽数据通道（增加引脚数），但芯片边缘能放下的引脚终究有限。
HBM 的思路是往上叠。工程师把多层 DRAM 裸片（通常 4 到 12 层）像盖楼一样垂直堆叠在一起，然后用一种叫 TSV（Through-Silicon Via，硅通孔）的技术，在芯片内部打出数以千计的微小"电梯井"——从最底层直通最顶层的垂直金属通道。
这些"电梯井"相当于把数据通道从芯片边缘搬到了芯片内部，数量和密度远超传统引脚。结果是，同样面积下，HBM 的数据通道宽度可以做到传统显存的数倍乃至十倍以上，带宽因此大幅提升。
如果你对 DRAM 本身的存储原理好奇——它本质上是一颗颗微型电容——这篇 从一颗电容讲懂 DRAM 做了更底层的科普。
HBM 与先进封装：把内存和 GPU "拼"在一起
光把内存叠高还不够。如果 HBM 芯片还是焊在远离 GPU 的电路板另一端，数据仍然要走很长的线路，延迟和功耗都下不来。
所以 HBM 通常搭配一种叫 2.5D 封装 的技术：把 GPU 裸片和 HBM 裸片并排放在同一块硅中介层（Interposer）上，再用中介层内部的高密度走线把它们短距离互联。你可以把它想象成把厨房和食材仓库放进了同一间屋子——距离从"隔了几条街"缩短到"隔了一面墙"。
这种封装方式让 GPU 到 HBM 的物理距离缩短到毫米级，数据通路更短、更宽、更省电。业界常见的 CoWoS（Chip on Wafer on Substrate）就是这类 2.5D 封装方案之一。封装完成后，你看到的一整块芯片，实际上是 GPU 和多层 HBM 堆叠体"拼"在一起的复合体。
为什么 HBM 会挤占普通内存产能
最近几年不少消费者注意到，手机和电脑的内存涨价周期似乎和 AI 热潮重合。这背后有一个真实的产能机理。
HBM 用的是 DRAM 工艺，和普通内存条（DDR4/DDR5）共享晶圆产线。但 HBM 的特殊之处在于：它需要把多层裸片堆叠在一起，每一层都是独立的 DRAM 裸片，这意味着生产同等容量的 HBM，消耗的晶圆面积是普通 DRAM 的数倍。加上 TSV 打孔、减薄、堆叠、键合等额外工序，任何一步良率波动都会拉低产出效率。
当大量 DRAM 产能被 HBM 吸走，留给普通 DDR 和 LPDDR 的产线份额就会受到挤压。这不是某个厂商的主观选择，而是技术结构决定的客观结果。至于这种产能挤兑如何传导到终端消费品价格，这篇 你没怎么用 AI，电脑手机却在涨价 做了更详细的梳理。
小结
HBM 的本质是一套「空间换带宽」的工程方案：用垂直堆叠和硅通孔技术，把内存的数据通道从平面拓宽变成立体加密，再借助 2.5D 封装让内存和 GPU 紧挨在一起。它解决了大模型时代最棘手的内存墙问题，但也因为晶圆消耗大、工艺复杂，挤占了普通内存的产能。理解 HBM，是理解当下 AI 算力格局的一把关键钥匙。
Q: HBM 和普通内存条是什么关系？
两者底层都是 DRAM，存储数据的原理一样（靠电容充放电）。区别在于封装形态：普通内存条把 DRAM 芯片平铺在一条 PCB 板上，通过内存插槽与处理器通信；HBM 则是多层 DRAM 裸片垂直堆叠、TSV 互联，直接和 GPU 封装在一起。可以把 HBM 理解为"专门为高带宽场景重新设计的 DRAM 形态"。
Q: 为什么 HBM 这么贵？
主要贵在工艺复杂度。多层裸片堆叠要求每一层都极薄（通常减薄到几十微米量级），TSV 打孔的深宽比极高，键合对位精度要求苛刻。任何一步出现缺陷，整颗堆叠体就可能报废。良率爬坡是 HBM 成本居高不下的核心工程原因，叠加晶圆产能的机会成本，最终反映在售价上。
Q: 手机和电脑会用上 HBM 吗？
短期内不太可能。HBM 的成本、功耗和封装复杂度都面向高性能计算场景（GPU 加速器、AI 训练集群）。手机和笔记本用的是 LPDDR 系列低功耗内存，走的是完全不同的封装路线。不过，随着端侧 AI 对带宽需求增长，未来是否会出现面向消费级的"类 HBM"方案，业界仍在探索中。
💬 评论