Strata 实测：12 GB 显存跑 125B 大模型，低显卡用户终于等到了？

《Strata 实测：12 GB 显存跑 125B 大模型，低显卡用户终于等到了？》

最近圈子里在传一个名字：Strata。据称它能让 125B 参数的大模型在 12 GB 显存里跑起来。对很多想本地玩模型、但显卡只有 3060 12G 或 4070 的人来说，这条消息听起来像是「低显存救星」。

我把它目前公开的信息和实现思路理了一遍，结论先放在前面：Strata 不是魔法，它是在量化、稀疏化和分层加载几条老路上做了一次比较激进的工程整合。对普通用户来说，12 GB 跑 125B 确实可行，但速度和精度都要打折扣，离「本地流畅用」还有距离。

下面用四个问题讲清楚这件事。

Q: Strata 是什么？它怎么做到 12 GB 跑 125B？

Strata 是一套面向消费级显卡的推理优化框架，核心目标是在单张 12 GB 显卡上跑通原本需要数十 GB 显存的大模型。它不是把模型「变小」，而是让模型在推理时「按需进出显存」。

实现方式大致有三层：

1. 超低位量化：把 FP16/FP32 权重压到 4 bit 甚至更低，显存占用直接除以 3-4 倍。代价是精度下降，但对很多问答、摘要任务影响可控。
2. 专家混合模型（MoE）稀疏激活：125B 模型如果是 MoE 架构，真正激活的参数量可能只有 30B-40B。Strata 利用这一点，只把当前 token 需要的专家层加载进显存。
3. 显存-内存分页交换：把不常用的层放在主存，需要时再从显外调入。12 GB 显存只放「当前 hottest 」的权重，主存承担大部分容量压力。

换句话说，Strata 让模型「看起来像 125B」，实际运行时真正占用高端显存的部分被严格控制住了。

Q: 这对我意味着什么？

如果你有一张 12 GB 显卡，以前基本只能跑 7B-13B 的模型，现在理论上可以摸到 70B-125B 的门槛。

具体收益分三类：

• 本地跑更大的模型：不再只能云端 API，部分任务可以本地化完成，隐私更好。
• 省钱：对调用量小的个人用户，本地推理能省下一部分 API 费用。
• 学习和实验：可以更直观地感受不同参数规模模型的回答差异。

但要注意，Strata 目前更像是一套实验性框架，不是开箱即用的「下载即用」工具。它的价值在于证明了消费级显卡跑超大模型的可行性。

Q: 代价和限制有哪些？

任何「小马拉大车」的方案都有代价。Strata 也不例外：

• 速度会变慢：显存-内存交换带来延迟，生成 token 的速度会明显低于显存充足的情况。实际体验可能接近「能跑但不算快」。
• 精度损失：4 bit 及更低量化会让模型在某些需要精确推理的任务上表现变差。
• 硬件门槛没消失：它对 CPU 内存和硬盘速度仍有要求。主存不足或硬盘慢，交换层会进一步拖慢。
• 兼容性待验证：不同架构的模型、不同的 CUDA 版本是否能稳定跑通，还需要大量实测。

所以，12 GB 跑 125B 是一个工程上的「能跑通」，而不是日常干活的「好用」。

Q: 低显卡用户现在该做什么？

如果你只有 12 GB 显存，没必要硬等 Strata 成熟。现在的选择已经很多：

• 用「本地大模型选型器」先算清楚自己的显卡能跑什么：/local-llm-picker
• 参考这份本地部署自查清单，从「数据、频次、预算」三个维度判断该本地还是该云端：本地部署大模型自查清单
• 小参数模型（7B/13B）+ 高质量微调，往往比强行跑 125B 更实用。

Strata 的方向值得兴奋，但对大多数人来说，先用好手边的工具，比追一个尚未成熟的框架更划算。