Haiku 5.5 之后，本地大模型还值得运行吗？
Haiku 5.5 以低价、低思考量追平 Qwen 3.8 27B。本地大模型在质量、成本、隐私、稳定性和自由度上的五个理由，还剩下多少？
编者说明：本文根据 Anubhav 发表于 Data Science Collective 的文章 《Is Running a Local LLM Still Worth It After Haiku 5.5?》翻译整理。原文讨论 Haiku 5.5 发布后，本地运行大语言模型的五个常见理由是否仍然成立。观点与测试数据归原作者所有。
快速结论：Haiku 5.5 让便宜的云端模型在质量上追平了 Qwen 3.8 27B，并以更少的思考 token、更快的速度完成任务。但在超长会话、数据隐私、版本稳定性和模型自由度方面，本地模型仍然有不可替代的优势。
如果你在自己的电脑上运行模型，理由大概属于下面五种之一：它已经足够满足我的需求；它更便宜；没有人能在我不知情的情况下更改它；我的数据留在自己手里；我可以运行任何想用的模型。
前两个理由过去很容易辩护。直到上周仍是 Anthropic 低价模型的 Haiku 4.5，能力还不如 Qwen 3.8 27B。也就是说，你要向 Anthropic 付费，得到的却比自己显卡上已经运行的模型更弱。
上周，Anthropic 发布了 Haiku 5.5，价格只有旧版 Haiku 的十分之一。独立测试显示，它的表现已经能与 Qwen 3.8 27B 相当。
与此同时，硬件价格却朝着相反方向发展。用于在家运行 Qwen 的常见显卡是二手 RTX 3090；由于显存短缺推高了所有 24GB 显卡的价格，它现在比去年贵了不少。
那么，上面五个理由还有哪些站得住脚？
“它已经足够好”
Haiku 在少得多的思考量下，就能追平 Qwen。Qwen 3.8 默认会在回答前尽可能充分地思考，而且需要用尽这个档位才能赶上；Haiku 用正常设置就能做到。Qwen 每写出大约 4 个 token，Haiku 只需写 1 个。两者写出的很大一部分都是你看不到的思考过程，但每一个 token 都要等待。
快速问题中，这种差异不会特别明显；在包含多个步骤的长任务中，差别就很大。在 RTX 4090 上，Qwen 大约每秒生成 50 个 token，而 Haiku 至少快一倍。再算上 Qwen 额外的思考量，一个 Haiku 几分钟就能完成的任务，Qwen 可能要花约 25 分钟。
降低 Qwen 的思考强度也解决不了问题。在 Medium 设置下，Qwen 仍会写出约为 Haiku 两倍的内容，而且结果会掉到 Haiku 以下。你用更差的答案换回了一部分等待时间。
Haiku 还可以继续调高。在最高设置下，它明显强于任何能装进家用显卡的模型；而 Qwen 已经在自己的最高档位。
因此，“足够好”已经不再是本地模型的优势。最理想的情况也只是打平，但需要付出长得多的等待时间，而且 Qwen 每多思考一分钟，显卡就多耗一分钟电。
“它更便宜”
本地运行模型的核心卖点一直是：显卡只买一次，之后的一切都免费。当然，它从来不是真的免费，因为显卡工作时会耗电；只不过与过去的云端价格相比，这点电费几乎不重要。
按 Haiku 5.5 的价格计算，两者已经非常接近。Haiku 每百万输入 token 收费 0.10 美元，每百万输出 token 收费 0.50 美元。一个包含几个步骤的典型任务通常只要几美分。在家用 4090 运行同样的 Qwen 任务，电费大致相当；如果是较旧的 3090，电费还会略高。
不过，接近并不等于本地输了。如果显卡已经装在机器里，你支付的运行成本大概与最便宜的优秀云端模型相当，却没有云端模型附带的那些条件。
Haiku 的价格有前提。长会话中，每次发送消息，之前的全部对话都会一并发送，因此请求会越来越大。一旦单次请求超过 10 万 token，Haiku 会对全部 token 按 5 倍价格计费，而不是只对超出的部分加价。编码会话很容易跨过这条线。
要在正常设置下保留这么长的上下文，24GB 显卡的显存还不够。32GB 显卡，或者拥有 36GB 及以上统一内存的 Mac 可以做到。在这类机器上，本地运行长会话的成本只占 Haiku 收费的一小部分。
家里也没有不断跳动的计价器。你可以让 Agent 工作一整夜，把同一个提示词重跑 50 次来找到最佳结果，或者试一个大概率会失败的想法；除了电费，这些实验不会增加成本。使用 API 时，每一次尝试都要付费，有些实验甚至会因为这个心理门槛而根本没有开始。
所以，“更便宜”这个理由比标价看起来更坚固。在 Haiku 的 10 万 token 线以内，双方接近；超过这条线，本地运行胜出。
“没有人能在我不知情的情况下更改它”
更换 tokenizer 就是一种用户没有决定权的变化。放在自己硬盘上的模型不会这样改变。
API 上变化的不只是价格，名称背后的模型也会改变。在 Claude Code 中，“haiku”现在指 Haiku 5.5，而不再是 4.5；为旧版本编写的提示词并不总能平稳迁移。一些早期用户发现结果变差了，只好重写一周前还工作良好的提示词。
旧模型也会被关闭。Anthropic 已在 2 月退役 Claude 3.5 Haiku。Haiku 4.5 也在同一条道路上：10 月中旬以后，Anthropic 随时可以在提前 60 天通知后将其退役。10 万 token 的价格分界和 API 速率限制，同样由 Anthropic 决定。
放在自己机器上的模型文件不会做这些事。明年它仍会像今天一样回答，而且除非你主动删除，它会一直留在那里。它甚至不需要互联网连接。新版本出现时，你可以先用自己的工作负载测试，等准备好再切换，而不是由别人替你决定。
Haiku 5.5 的发布本身，就是支持本地模型稳定性的最佳论据之一。而云服务商替你决定的另一件事，是你发送给它的数据会发生什么。
“我的数据留在自己手里”
Anthropic 不会用通过 API 发送的内容训练模型，并会在 30 天内删除这些数据。
但 30 天仍意味着你的提示词和代码会在别人的服务器上停留一个月。任何被其安全系统标记的内容都可能保存最长 2 年。如果你希望完全不保留数据，也没有一个可以直接打开的设置；你必须通过销售团队另行签订协议。
这些规则也可能变化。今年 6 月，Anthropic 开始为两款最新模型保留 30 天数据，即使客户原本签有零保留协议。Haiku 不在其中，但这说明规则仍然可以由服务商改写。
在自己的机器上，你输入的内容不会离开房间。当数据并不属于你时，这一点尤其重要：客户的代码库、患者记录、合同、受保密协议约束的材料，或者公司规定不得交给第三方的任何信息。对这类工作，本地模型可能是唯一被允许使用的选择。
“我可以运行任何想用的模型”
使用 API 时，你只能获得服务商交付的模型形态。你可以改变发送给它的内容，却无法改变模型本身。
在家里，模型就是一个文件，可以随时换成另一个文件。你可以用自己的代码或客服工单对它进行微调，让它直接学会你的工作方式，而不必在每次提示词中重复解释。你也可以运行只为某项狭窄任务构建的模型。仅这个月，就出现了覆盖 150 种语言的翻译模型，以及 Cloudflare 发布的一款能从固定选项中作答并报告置信度的模型。
你还可以控制模型周围的一切：获得多少上下文、如何挑选词语、使用什么模板、停留在哪个版本。如果出了问题，你能检查每一个环节。
Haiku 5.5 并没有改变这些优势。再便宜的云端模型，仍然只是由一家公司按自己的方式设置好的一款模型。
结论
把所有因素加在一起，本地模型的表现仍然不错。Haiku 5.5 确实从清单中削弱了一个理由：在质量上，家用模型现在至多只能与便宜的云端模型打平。在 Haiku 的 10 万 token 分界线以内，成本接近；超过这条线，本地模型占优。其余三个理由完全没有改变。
因此，如果你已经有一张合适的显卡，可以继续使用。对于不能交给第三方的数据、希望亲自微调的模型和长会话，本地仍然是正确的地方，只要你能接受更慢的速度。偶尔把快速问题交给 Haiku，也不会削弱本地部署的价值。
如果你正在考虑购买显卡，也应该为了同样的理由而买。如果主要需求是长会话，最好选择超过 24GB 的显存或统一内存。只为了在快速问题上省钱，已经不再是充分理由。
真正实用的答案不是“本地还是云端”二选一，而是按任务路由：快速、通用的任务交给便宜而迅速的云端模型；敏感数据、长会话、可复现工作和定制模型则留在本地。
在 Dobby 上使用 Haiku 5.5
Haiku 5.5 现已可在 Dobby 上使用。你可以直接把研究、写作、编码或自动化任务交给 Dobby，用真实工作负载比较 Haiku 5.5 的速度、质量和成本，不需要先购买显卡、安装本地运行环境或维护模型服务。
本地模型依然适合隐私敏感、超长上下文和高度定制的任务；Dobby 则适合希望马上使用 Haiku 5.5 等领先模型的人。把两者组合起来，往往比坚持单一路线更实际。
