"4090，Q4量化，跑起来100 tokens/秒，相当流畅。"这是腾讯新闻一位作者晒出的本地运行Qwen3.8-27B的成绩。（来源：腾讯新闻）
今天，知乎热榜上挂着一个问题："关于QWEN3.8-27B，大家的速度都是多少tokens/s？"评论区满屏都是显卡型号和速度数字。我把这两周虎嗅、中关村在线、腾讯新闻、量子位的相关报道翻了一遍，翻完发现，这栋"晒速度"的楼里，藏着比速度重要得多的东西。
这栋楼，为什么偏偏这两周盖起来
先看时间线。8月14日，阿里通义千问团队开源Qwen3.8-27B：270亿参数，原生多模态，262K原生上下文，靠YaRN技术可外推到100万token。（来源：中关村在线）开源两天，下载破百万，登顶Hugging Face全球趋势榜。（来源：腾讯新闻，援引IT之家、知乎专栏）
几乎同一周，8月17日零点，DeepSeek新价格生效，高峰时段被一些用户戏称"根本用不起"。（来源：虎嗅）于是社区里一句话开始共鸣："Qwen 3.8 is having a DeepSeek moment。"（来源：虎嗅）
云端在涨价，本地模型刚好强到能接班——所以满屏的速度截图，本质上是一份份"我能不能不再按token交租"的可行性报告。
速度快，到底意味着什么
很多人对本地AI的印象还停留在"玩具"：能跑，但慢得没法用。这次的数字不太一样。虎嗅援引第三方榜单Artificial Analysis：Qwen3.8-27B拿到52分，追平284B参数的DeepSeek V4 Flash，超过所有40B-150B的中型模型，被社区称为"甜点位"——用最小的参数量达到旗舰级性能；在代理任务成本效率图上，它正好卡在帕累托前沿，每个任务约0.5美元成本、51分得分。（来源：虎嗅）
编程实测上，SWE-bench Pro拿61.7分，超过体量更大的Qwen3.7-Plus；LiveCodeBench v6拿90.3分；科研级难题GPQA Diamond正确率89.2%。（来源：中关村在线）
但真正让这栋楼盖起来的，不是跑分，是归属感。那位腾讯新闻的作者说得很直白：价格便宜不是核心卖点，最关键的，是能在3万预算内，拥有一个满足个人隐私需求的AI助理。他让本地Qwen3.8逐个读取自己一周约500个微信聊天，把那些"我回头弄""我看看"之后就被忘掉的待办全捞了出来——"这活我根本不敢让云端模型干"。（来源：腾讯新闻）
云端AI像出租车：招手即来，按表计费，但你的路线去了哪，你说了不算。本地AI像自己的车：油钱保养自己掏，但钥匙在你手里，后备箱放什么只有你知道。速度，就是这辆"自己的车"能不能上路的门槛——慢到没法用，它就只是车库里的摆设。
比速度更容易被忽略的：跑得快，还得跑得"对"
这是满屏速度数字里，几乎没人提的一件事。
量子位这两天有篇报道，标题很扎心：《AI本地部署不如官方版的元凶找到了：734个依赖包，每一个都可能坑》。同一张显卡、一模一样的权重，推理软件栈的微小差异，就能让模型在关键位置输出完全不同的token，甚至让工具调用彻底失败。Level1Techs论坛用户thr3e用Qwen3.6-27B做了超过10万token的全量logit捕获实验：只切换vLLM的注意力后端——FlashAttention 2、Flash Inference、Triton Attention三选一，其余硬件、权重全部不动——输出就会变。（来源：量子位，网易新闻、凤凰网、腾讯新闻转载）
也就是说，别人晒的100 tokens/秒，和你机器上的100 tokens/秒，跑出来的可能不是"同一个脑子"。本地部署的坑，一半在速度，一半在那734个依赖包里。
你可以怎么做
没显卡，不必硬上车。Qwen3.8-Flash已于8月26日开源并上线千问平台，API定价输入每百万tokens 1元、输出3元，日常写作、整理、翻译完全够用。（来源：凤凰网、腾讯新闻）
手里有显卡、想跑本地，记住三件事：显存决定你能用哪档量化，24G显存可以跑Q4量化（来源：腾讯新闻）；别只截一张速度图，把同一套推理软件和版本用稳了再谈体验；涉及隐私的活交给本地，需要协作分享的活留给云端。挑部署工具没头绪的话，我平时会在spark1（AI家园）的 spark1.cn/tools/ 里把候选工具归拢出来，挨个试。
跑得快是门槛，跑得稳、数据攥在自己手里，才是本地AI真正的底气。云端有云端的方便，本地有本地的踏实——想清楚自己要什么，你也能从容挑到适合自己的那一种。
💬 评论