1. Qwen 3.6 27B is the sweet spot for local development (quesma.com)
Qwen 3.6 27B:本地开发的理想选择
Qwen 3.6 系列包含两个版本:混合专家模型(MoE)Qwen 3.6 35B A3B,以及稠密模型 Qwen 3.6 27B。作者认为后者虽然速度较慢,但能力更强,是本地开发的最佳选择,称其为首款真正具备通用智能意义的本地模型。
实际能力表现
在多项测试中,27B 模型展现出超越参数规模的能力。它能完成需要“约束写作”的创意任务,例如结合 Zouk 舞蹈与量子物理的八行诗创作,思维链条在术语斟酌与押韵上均表现合理。在编程任务中,它能通过单条提示一次性生成完整的六边形扫雷游戏(使用 pnpm 构建 Node 包);相比之下,35B A3B 虽然生成速度更快,却忽略了创建独立包的指令,仅输出单个 HTML 文件。此外,仅凭简短提示,它还能生成具备响应式布局、设计美观的落地页,达到可直接用于实际工作的水准。
本地部署方案
作者推荐使用开源工具 llama.cpp 运行模型,并基于伦理考量建议避免使用 Ollama。部署流程如下:
- 模型获取:从 Hugging Face 下载量化版本,推荐
unsloth或bartowski等作者制作的 GGUF 文件。默认 BF16 精度下,8-bit 量化(如Q8_0)可在几乎不损失质量的前提下将体积减半。 - 推荐模型:
unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0,支持多 Token 预测(MTP)。 - 启动服务:使用
llama-server加载模型,建议参数包括-ngl 999(全层加载 GPU)、-fa on(开启 Flash Attention)、-c 65536(上下文 64K,原生支持 256K)及--port 8080。 - 接入工具:通过 OpenAI 兼容 API 接入 OpenCode、Pi 或 Hermes 等智能体。在
~/.config/opencode/opencode.jsonc中配置baseURL为本地服务地址即可。若仅需终端对话,可使用llama-cli。
性能与资源占用
在配备 128GB 统一内存的 MacBook Max M5 上,使用 llama.cpp 的 GPU 利用率可达 95%,效率优于 Apple Silicon 专用的 mlx-lm。DeepSeek-V4-Flash(DwarfStar4)量化版可达约 30 tokens/秒,处于前沿模型 API 的典型范围内。Qwen 3.6 双版本均可在 48GB Apple Silicon 内存中运行;4-bit 量化后体积低于 18GB,可在 32GB 设备上运行。在消费级显卡上,RTX 5090 使用 Q6_K 量化与 Q4_0 KV 缓存,在 123K 上下文下可达 50 tokens/秒,占用约 28GB 显存。35B A3B 的速度约为 27B 的三倍,但作者倾向于以三分之二的生成速度换取更高质量的输出。
基准与横向对比
根据 Artificial Analysis 的评估,各模型大致对应以下前沿模型水平:
- Gemma 4 31B ≈ 2024 年末的 o1 / Claude 3.5 Sonnet
- Qwen 3.6 35B A3B ≈ 2025 年初的 o3 / Claude 4 Sonnet
- Qwen 3.6 27B ≈ 2025 年中的 GPT-5 / Claude Sonnet 4.5
- DeepSeek-V4-Flash ≈ 2025 年末的 GPT-5.2 / Claude Opus 4.5
尽管 Gemma 4 31B 是许多用户的本地编码默认选项,但基准测试与社区共识普遍认为 Qwen 3.6 27B 大幅领先。需要注意的是,Qwen 的 8-bit 量化对质量影响甚微,而 DwarfStar4 采用的 2-4 bit 激进量化会削弱原始模型表现;在此条件下,作者认为 Qwen 3.6 27B 与 DwarfStar4 相当甚至略优,仅在超长上下文场景中 DeepSeek 可能占优。
未来展望
本地运行前沿级模型正变得可行。本地部署的优势包括:可针对个人或企业需求微调、无法被服务方撤回、适合处理专有或敏感数据(如医疗信息)、支持离线使用。随着 GLM 5.2 等前沿开放权重模型的发布,即使是公司预算也可支撑更高规格的本地部署。未来,模型可能通过工具调用将事实知识与基础智能分离,从而在保持甚至超越当前顶尖水平的同时,实现在个人电脑乃至智能手机上的本地运行。