Q4_K_M 估算
19.1 GiB
按 8,192 tokens 计算
FP16 估算
59.4 GiB
按 8,192 tokens 计算
建议显卡
1 × RTX 4000 Ada Generation 20 GiB
模型架构
模型计算流程图
- 词嵌入 · 5120
- 64 层 · GQA · 混合结构
- 输出头 → token 分数
| 参数量 | 27,781,427,952 (27.78B) |
|---|---|
| 层数 | 64 |
| 注意力头数 | 24 |
| KV 头数 | 4 |
| 头维度 | 256 |
| 隐藏层维度 | 5120 |
| 最大上下文 | 262,144 tokens |
| KV Cache 层数 | 64 层中有 16 层保留 KV Cache(混合注意力)。 |
| 备注 | 混合注意力:64 层中只有 16 层是带 KV Cache 的全注意力层,其余为 Gated DeltaNet 线性注意力层。参数量包含检查点中附带的视觉编码器和 MTP 头。 |
最低硬件要求与同系列对比
按批量 1、FP16 KV 缓存和 12% 余量估算。多卡按均匀分片计算,具体运行时需支持所选精度与设备。
| 设备数 | 模型所需总量 | 满足容量的最小设备示例 | 每台可用容量 |
|---|---|---|---|
| 1 | 19.13 GiB | RTX 4000 Ada Generation 20 GiB | 20.0 GiB |
| 2 | 19.46 GiB | NVIDIA RTX 3080 (10 GiB) | 10.0 GiB |
| 4 | 20.14 GiB | GTX 1060 6 GiB | 6.0 GiB |
| 8 | 21.48 GiB | GTX 1060 3 GiB | 3.0 GiB |
量化对比
批大小 1 · FP16 KV Cache · 1 张卡 · 合计已含安全余量。超出模型最大上下文的列仅作假设,并以 * 标注。
| 精度 | 权重 | 合计 @ 4k | 合计 @ 8k | 合计 @ 32k | |||
|---|---|---|---|---|---|---|---|
| FP16 / BF1616.0005 bpw · FP16 GGUF 参考 | 51.75 GiB | 59.08 GiB | 59.36 GiB | 61.04 GiB | |||
| FP88 bpw · 名义位宽 | 25.87 GiB | 30.10 GiB | 30.38 GiB | 32.06 GiB | |||
| INT88 bpw · 名义位宽 | 25.87 GiB | 30.10 GiB | 30.38 GiB | 32.06 GiB | |||
| NVFP66 bpw · 名义位宽 | 19.41 GiB | 22.85 GiB | 23.13 GiB | 24.81 GiB | |||
用 Ollama 或 llama.cpp 运行
以下为 Q4_K_M GGUF 命令。请先安装兼容的推理框架;部分模型需要申请访问权限。
ollama run hf.co/unsloth/Qwen3.5-27B-GGUF:Q4_K_Mllama-server -hf unsloth/Qwen3.5-27B-GGUF:Q4_K_M -c 8192 -ngl 99GPU 架构与运行环境
| NVIDIA 架构 | 注意力实现 | 公开的环境要求或版本 |
|---|---|---|
| Ampere / Ada | FlashAttention-2 | CUDA ≥ 12.0 · PyTorch ≥ 2.2 · FP16 / BF16 |
| Hopper (H100 / H800) | FlashAttention-3 | CUDA ≥ 12.3 |
| Blackwell (B200) | FlashAttention-4 · CuTeDSL | PyTorch 2.7 提供支持 Blackwell 的 CUDA 12.8 构建 |
Transformers 版本按此检查点的模型卡选择。 模型卡 · 内核兼容性 · PyTorch 构建说明
按显存推荐的显卡
Q4_K_M、8k 上下文、批大小 1、FP16 KV Cache。按标称显存从小到大排列,只列出绿色结果。推理框架和精度是否支持,请另行确认。
1 × RTX 4000 Ada Generation 20 GiB
含安全余量仍够用
1 × AMD RX 7900 XT (20 GiB)
含安全余量仍够用
1 × RTX 3090 24 GiB
含安全余量仍够用
数据来源与核验
试试你的配置
任务设置
模型权重在显存中的存储精度。
上下文越长,缓存精度对显存的影响越大。
运行时设置Roofline 理论估算
硬件配置
输入参数
一次批处理的序列数。服务并发人数与吞吐量需另行实测。
高级 · 模型结构
- 层数
- 64
- 注意力头数
- 24
- KV 头数
- 4
- 每头维度
- 256
- 隐藏层维度
- 5,120
- 最大上下文(tokens)
- 262,144
性能与内存结果
显存估算
19.1 GiB 显存
此估算只计算 16 个全注意力层的 KV 缓存,未计入其余 48 层的循环状态。实际显存占用可能高于估算。
按当前配置估算,计入安全余量后显存仍然够用。
估算 GPU 租赁 · $0.44/h · 单卡报价 × 卡数
- 生成速度
- ~38 token/s
- 每 token 间隔
- ~26 毫秒
- 首 token 等待
- ~0.499 秒
RTX 4090 24 GiB
Q4_K_M · FP16 KV
竖线 = 硬件可用显存
- 权重(Q4_K_M)15.83 GiB
- KV Cache(FP16)0.50 GiB
- 运行时开销0.75 GiB
- CUDA Graph 捕获0.00 GiB · 0.0%
- 安全余量2.05 GiB
框架开销细分
下列为可复核的规划分摊。实际驱动、算子库和分配器占用因运行时而异。
- 设备运行时与驱动
- 0.50 GiB
- 算子工作区
- 0.20 GiB
- CUDA Graph
- 0.00 GiB
- 分配器基础
- 0.05 GiB
- 其他运行缓冲与多卡通信
- 0.00 GiB
对比上下文长度
对比显卡容量
推理模拟
Qwen3.5 27B · Q4_K_M · RTX 4090 24 GiB
- 输入处理
- 0.5 秒
- 逐 token 生成
- 3.3 秒
- 预计总耗时
- 3.8 秒
点击播放,查看示例文本的输出节奏。
实测首 token 分位数与请求吞吐
常见问题
Qwen3.5 27B 需要多少显存?
按默认配置(Q4_K_M、8,192 tokens 上下文、批大小 1、FP16 KV Cache),估算需要 19.1 GiB(含安全余量)。这是估算值,不是实测保证。
为什么上下文长度会影响显存?
KV Cache 随上下文长度和批大小线性增长。对于分组查询注意力(GQA),我们按 KV 头数计算,并使用记录在案的 KV Cache 层数。
显示绿色就一定能跑吗?
不一定。绿色只表示估算显存(含安全余量)放得下。推理框架、精度支持、算子实现和运行时的显存分配都可能不同,请确认兼容性,并实际测一下你的工作流。
这些估算的依据是什么?
架构参数和文件大小可追溯到模型来源。精度表标明了 GGUF 实测位率、含块缩放的位率和名义位宽。Qwen3.5 27B 的源数据最近核验于 2026-11-18。显存估算以 GiB 计。