全部模型

Qwen / 语言模型

Qwen3.5 27B 显存需求

基于有来源的模型数据和公开透明的估算方法,了解不同配置下的显存取舍。

Q4_K_M 估算

19.1 GiB

按 8,192 tokens 计算

FP16 估算

59.4 GiB

按 8,192 tokens 计算

建议显卡

1 × RTX 4000 Ada Generation 20 GiB

模型架构

模型计算流程图
  1. 词嵌入 · 5120
  2. 64 层 · GQA · 混合结构
  3. 输出头 → token 分数
参数量27,781,427,952 (27.78B)
层数64
注意力头数24
KV 头数4
头维度256
隐藏层维度5120
最大上下文262,144 tokens
KV Cache 层数64 层中有 16 层保留 KV Cache(混合注意力)。
备注混合注意力:64 层中只有 16 层是带 KV Cache 的全注意力层,其余为 Gated DeltaNet 线性注意力层。参数量包含检查点中附带的视觉编码器和 MTP 头。

最低硬件要求与同系列对比

按批量 1、FP16 KV 缓存和 12% 余量估算。多卡按均匀分片计算,具体运行时需支持所选精度与设备。

设备数模型所需总量满足容量的最小设备示例每台可用容量
119.13 GiBRTX 4000 Ada Generation 20 GiB20.0 GiB
219.46 GiBNVIDIA RTX 3080 (10 GiB)10.0 GiB
420.14 GiBGTX 1060 6 GiB6.0 GiB
821.48 GiBGTX 1060 3 GiB3.0 GiB

量化对比

批大小 1 · FP16 KV Cache · 1 张卡 · 合计已含安全余量。超出模型最大上下文的列仅作假设,并以 * 标注。

精度权重合计 @ 4k合计 @ 8k合计 @ 32k
FP16 / BF1616.0005 bpw · FP16 GGUF 参考51.75 GiB59.08 GiB59.36 GiB61.04 GiB
FP88 bpw · 名义位宽25.87 GiB30.10 GiB30.38 GiB32.06 GiB
INT88 bpw · 名义位宽25.87 GiB30.10 GiB30.38 GiB32.06 GiB
NVFP66 bpw · 名义位宽19.41 GiB22.85 GiB23.13 GiB24.81 GiB

用 Ollama 或 llama.cpp 运行

以下为 Q4_K_M GGUF 命令。请先安装兼容的推理框架;部分模型需要申请访问权限。

ollama run hf.co/unsloth/Qwen3.5-27B-GGUF:Q4_K_M
llama-server -hf unsloth/Qwen3.5-27B-GGUF:Q4_K_M -c 8192 -ngl 99

GPU 架构与运行环境

NVIDIA 架构注意力实现公开的环境要求或版本
Ampere / AdaFlashAttention-2CUDA ≥ 12.0 · PyTorch ≥ 2.2 · FP16 / BF16
Hopper (H100 / H800)FlashAttention-3CUDA ≥ 12.3
Blackwell (B200)FlashAttention-4 · CuTeDSLPyTorch 2.7 提供支持 Blackwell 的 CUDA 12.8 构建

Transformers 版本按此检查点的模型卡选择。 模型卡 · 内核兼容性 · PyTorch 构建说明

按显存推荐的显卡

Q4_K_M、8k 上下文、批大小 1、FP16 KV Cache。按标称显存从小到大排列,只列出绿色结果。推理框架和精度是否支持,请另行确认。

数据来源与核验

试试你的配置

任务设置

任务类型

模型权重在显存中的存储精度。

上下文越长,缓存精度对显存的影响越大。

运行时设置Roofline 理论估算

硬件配置

输入参数

一次批处理的序列数。服务并发人数与吞吐量需另行实测。

高级运行配置
高级 · 模型结构
层数
64
注意力头数
24
KV 头数
4
每头维度
256
隐藏层维度
5,120
最大上下文(tokens)
262,144
查看模型配置来源

性能与内存结果

79.7%显存占用

显存估算

19.1 GiB 显存

够用预计剩余 4.9 GiB可用 24.0 GiB

此估算只计算 16 个全注意力层的 KV 缓存,未计入其余 48 层的循环状态。实际显存占用可能高于估算。

按当前配置估算,计入安全余量后显存仍然够用。

估算 GPU 租赁 · $0.44/h · 单卡报价 × 卡数

生成速度
~38 token/s
每 token 间隔
~26 毫秒
首 token 等待
~0.499 秒
Qwen3.5 27B

RTX 4090 24 GiB

Q4_K_M · FP16 KV

模型规格
显存构成GiB

竖线 = 硬件可用显存

  • 权重(Q4_K_M)15.83 GiB
  • KV Cache(FP16)0.50 GiB
  • 运行时开销0.75 GiB
  • CUDA Graph 捕获0.00 GiB · 0.0%
  • 安全余量2.05 GiB
框架开销细分

下列为可复核的规划分摊。实际驱动、算子库和分配器占用因运行时而异。

设备运行时与驱动
0.50 GiB
算子工作区
0.20 GiB
CUDA Graph
0.00 GiB
分配器基础
0.05 GiB
其他运行缓冲与多卡通信
0.00 GiB
对比上下文长度
对比显卡容量

推理模拟

Qwen3.5 27B · Q4_K_M · RTX 4090 24 GiB

输入处理
0.5 秒
逐 token 生成
3.3 秒
预计总耗时
3.8 秒
就绪
计时回放 · 示例文本0 / 128 · 0 秒

点击播放,查看示例文本的输出节奏。

实测首 token 分位数与请求吞吐

常见问题

Qwen3.5 27B 需要多少显存?

按默认配置(Q4_K_M、8,192 tokens 上下文、批大小 1、FP16 KV Cache),估算需要 19.1 GiB(含安全余量)。这是估算值,不是实测保证。

为什么上下文长度会影响显存?

KV Cache 随上下文长度和批大小线性增长。对于分组查询注意力(GQA),我们按 KV 头数计算,并使用记录在案的 KV Cache 层数。

显示绿色就一定能跑吗?

不一定。绿色只表示估算显存(含安全余量)放得下。推理框架、精度支持、算子实现和运行时的显存分配都可能不同,请确认兼容性,并实际测一下你的工作流。

这些估算的依据是什么?

架构参数和文件大小可追溯到模型来源。精度表标明了 GGUF 实测位率、含块缩放的位率和名义位宽。Qwen3.5 27B 的源数据最近核验于 2026-11-18。显存估算以 GiB 计。