qwen3.8:27b（下载约 18GB），消费级 24GB 显存单卡即可跑。
本站聚焦 QWEN 大模型的本地部署与业务应用：哪些型号能放进企业机房、用什么推理框架、要多少显存、什么场景值得私有化——均整理自 HuggingFace 官方模型卡与公开资料。
开源权重 + 适中参数规模，让"把模型放进自己机房"从实验变成常规操作。
合同、病历、代码库等敏感语料全程留在内网，配合私有知识库实现合规问答，满足数据隔离要求。
高频调用场景下一张 24GB 显卡跑 4bit 量化模型，电费即边际成本，避免按 token 计费随用量线性增长。
权重在手可做继续训练、LoRA 微调、量化裁剪与输出审计，模型行为跟随业务规则而非平台政策。
Qwen3.5 小模型（0.8B–9B）可下沉到专网、车间与车载等弱网环境，本地推理不依赖外网链路。
数据引自 HuggingFace 官方模型卡（2026-11 查证）；"本地可行"指消费级/单机可运行，以实测为准。
| 型号 | 类型 | 上下文 | 参数 | 本地可行性 | 适用 |
|---|---|---|---|---|---|
| Qwen3.8-27B | 稠密 · 开源 Apache-2.0 | 262K → 1M | 27B 全激活 | 4bit 约 16–18GB，单卡 24GB 可跑 | 私有编码助手、知识库问答 |
| Qwen3.8-Flash-Next | 轻量 MoE | 262K → 1M | 6B 激活 | 主打在线服务，需较高带宽内存 | 高并发 API 服务 |
| Qwen3.5 系列 | 稠密 + MoE | 见模型卡 | 0.8B / 2B / 4B / 9B / 27B / 35B-A3B | 0.8B–9B 边缘可跑，35B-A3B 单卡 24GB 级 | 端侧、边缘盒、中端一体机 |
| Qwen3.8-2.4T-A95B | 数据中心 MoE | 262K → 1M | 2.4T 总参 · 95B 激活 | FP8 多机集群 / 云端 | 大规模私有化平台底座 |
| Qwen-Image-2.1 / Qwen3-ASR | 图像生成 / 语音识别 | — | — | 可本地部署 | 营销素材生成、会议转写 |
来源：Qwen 官方 HuggingFace 模型卡；上下文"→ 1M"为官方注明的可扩展上限（YaRN 等外推手段）。
以下为 Qwen3.8-27B 官方模型卡公布的对比成绩（对比列含 Qwen3.6-27B、Qwen3.7-Plus、Muse Glimmer-30B、Opus4.6 Max）。
来源：Qwen/Qwen3.8-27B 官方模型卡（HuggingFace）。基准成绩为官方自报口径，实际业务效果请以自有数据集验证。
Qwen3.8 官方声明兼容 HuggingFace Transformers、vLLM、SGLang、TokenSpeed 等主流推理框架。
| 方案 | 适合谁 | 要点 |
|---|---|---|
| Ollama | 个人、POC 与小型团队 | ollama run qwen3.8:27b 一键拉取（约 18GB），自动起 OpenAI 兼容接口；另有 27b-mlx 适配 Apple Silicon。 |
| llama.cpp / GGUF | 低端硬件与深度定制 | 社区 Q4 量化约 16GB 级内存/显存即可运行，可 CPU+GPU 混合推理。 |
| vLLM | 生产环境并发服务 | 官方 FP8 权重直接适配，高吞吐批处理；需 Linux + NVIDIA GPU。 |
| SGLang | 低延迟与结构化输出 | 官方兼容列表成员，约束解码适合固定格式业务输出。 |
| Transformers | 研究与新特性尝鲜 | 原生支持思考模式开关、reasoning_effort 分档与 preserve_thinking 多轮保留。 |
更多档位与实测建议见 qwen.fan/hardware。以下为经验估算值，用于初选机型；上线前请以自己业务的并发与上下文实测为准。
| 模型 | 精度 | 参考显存/内存 | 典型硬件 |
|---|---|---|---|
| Qwen3.8-27B | 4bit 量化 | 约 16–18GB | 单卡 RTX 4090/3090，或 32GB 统一内存 Mac |
| Qwen3.8-27B | FP8 官方权重 | 约 30GB+ | 48GB 单卡或 2×24GB |
| Qwen3.5-35B-A3B | 4bit 量化 | 约 20GB（激活仅 3B，速度快） | 24GB 单卡 |
| Qwen3.5-9B | 4bit 量化 | 约 6GB | 16GB 显卡或高端笔记本 |
| Qwen3.5-4B / 2B / 0.8B | 原版 / 量化 | 0.5–4GB | CPU、迷你主机、车机与边缘盒 |
| Qwen3.8-2.4T-A95B | FP8 | TB 级 | 多机互联集群 / 云端大规格实例 |
27B + 本地向量库，制度、手册、合同随手查；262K 长上下文可整本制度一次投入。
Terminal Bench 73.0、SWE-bench Pro 61.7 的终端与工程编码能力，接入内网仓库做评审与重构。
超长上下文整卷审阅、条款比对与风险标注，敏感文本不出内网。
Flash-Next 或 9B 级模型承载高频会话，配合话术库固定口径，离线兜底可用。
0.8B–4B 下沉到车间、门店与车载，断网环境维持基础语义能力。
Qwen-Image-2.1 本地生图用于营销素材；Qwen3-ASR 0.6B/1.7B 做会议与通话转写。
美元 / 每百万 tokens，引自公开聚合目录（2026-11 快照），以官方实时价格页为准。
| 型号 | 输入 | 输出 | 缓存命中 | 备注 |
|---|---|---|---|---|
| Qwen3.8 Flash | $0.1158 | $0.3629 | $0.0124 | 1M 上下文 · 131K 最大输出 · 多模态推理 |
| Qwen3.8 Max | $1.5444 | $4.6332 | $0.3089 | 旗舰级 API |
| Qwen3.7 Max | $1.2741 | $3.8232 | $0.2548 | 上代旗舰 |
| Qwen3.6 Plus | $0.2131 | $1.2749 | $0.0426 | 均衡档 |
| Qwen3.5 Plus | $0.0888 | $0.5313 | $0.0093 | 入门档 |
来源：公开聚合目录快照；不同服务商与官方直连价格可能不同。