方法公开透明
我们如何估算显存
以下都是估算,不是基准实测。我们把所有假设摆出来,方便你判断它们是否符合自己的任务。
单位、安全余量与判定标准
显存估算和容量比较统一使用 GiB(1,073,741,824 字节),权重文件字节数除以该值。硬件型号保留厂商标注。缺少设备的精确字节数时,计算器取标称容量的数值作为以 GiB 计的容量假设。合计 = 小计 × (1 + 安全余量),安全余量为 12%。
绿色:计入余量后的合计放得下。黄色:不计余量的小计放得下,或换成更轻的配置后(计入余量)放得下。红色:所选配置和估算器检查过的备选配置都放不下。黄色结果给出的建议与计算器使用同一套判定函数;备选配置放得下,不代表推理框架一定支持。
每台设备的可用显存等于容量乘以可用比例。Apple 统一内存缺少机型专属容量时,默认取 75%。切分 LLM 时需核对每台设备的分配量;普通 ComfyUI 工作流的各个活动阶段均须能装入单台设备。满足该条件后,其他设备可并行运行独立副本。
LLM 推理
weights bytes = parameters × bits per weight / 8。GGUF 实测位率取自 llama.cpp 的 Llama 3.1 8B 参考文件,计入文件中的混合张量精度和元数据。FP16/BF16 共用 FP16 的参考位率。其他模型的实际大小会有差异。 NVFP4 每 16 个压缩权重另计一个 8 位缩放因子。名义位宽只计算紧凑存储的数值。通用 Q1–Q7 表示位宽假设,具体权重文件和运行时格式需分别确认。NVFP4 块格式 ↗
KV bytes = 2 × KV layers × KV heads × head dimension × context × batch × bytes per element。系数 2 代表 K 和 V 两部分。分组查询注意力(GQA)按 KV 头数计算,而不是全部注意力头。混合架构模型在有记录时使用 KV Cache 层数;线性注意力的状态近似计入运行时开销。
runtime GiB = first-GPU overhead + extra-GPU overhead × max(0, GPU count − 1)。推理小计 = 权重 + KV Cache + 运行时开销。上下文长度不超过模型上限和计算器上限。
有效权重精度
| 量化 | 每权重位数 |
|---|---|
| FP16 / BF16 | 16.0005 bpw · FP16 GGUF 参考 |
| FP8 | 8 bpw · 名义位宽 |
| INT8 | 8 bpw · 名义位宽 |
| NVFP6 | 6 bpw · 名义位宽 |
| NVFP4 | 4.5 bpw · 含块缩放 |
| INT4 | 4 bpw · 名义位宽 |
| Q8_0 | 8.5008 bpw · GGUF 实测 |
| Q6_K | 6.5633 bpw · GGUF 实测 |
| Q5_K_M | 5.7036 bpw · GGUF 实测 |
| Q4_K_M | 4.8944 bpw · GGUF 实测 |
| Q3_K_M | 3.996 bpw · GGUF 实测 |
| Q2_K | 3.1593 bpw · GGUF 实测 |
| Q7 | 7 bpw · 名义位宽 |
| Q6 | 6 bpw · 名义位宽 |
| Q5 | 5 bpw · 名义位宽 |
| Q5_K_S | 5.5704 bpw · GGUF 实测 |
| Q4_K_S | 4.6672 bpw · GGUF 实测 |
| Q4 | 4 bpw · 名义位宽 |
| Q3_K_L | 4.2979 bpw · GGUF 实测 |
| Q3_K_S | 3.6429 bpw · GGUF 实测 |
| Q3 | 3 bpw · 名义位宽 |
| Q2 | 2 bpw · 名义位宽 |
| Q1 | 1 bpw · 名义位宽 |
KV Cache 存储
| 类型 | 每元素字节数 |
|---|---|
| FP16 | 2 |
| FP8 | 1 |
| FP4 | 0.5 |
| INT4 | 0.5 |
| NVFP4 | 0.5625 |
| Q8_0 | 1.0625 |
| Q4_0 | 0.5625 |
量化后的 KV 块包含缩放系数,因此比简单按 1 字节或半字节估算要大一些。
全量微调、LoRA 和 QLoRA
全量微调按每参数 18 字节估算,包括 2 字节 BF16 权重、4 字节主副本、4 字节梯度和 8 字节 AdamW 动量,另计激活值、运行时和安全余量。多卡训练按权重、梯度及优化器状态均可分片估算。 Hugging Face ↗
LoRA 冻结 BF16 基础权重,只训练适配器。QLoRA 的基础权重使用 NF4,两种方式采用下方相同的适配器和激活值估算。
QLoRA 的基础权重使用双重量化的 NF4,每权重 4.126953125 位。QLoRA 模式下,推理用的量化和 KV Cache 选项不生效。我们假设开启梯度检查点、使用 BF16 激活值,并为 LoRA 适配器保存 Adam 优化器状态。
LoRA 作用于 q、k、v、o、gate、up 和 down 投影。设 h = 隐藏层维度,q = 注意力头数 × 头维度,k = KV 头数 × 头维度,m = h × 3.5。 trainable parameters = rank × layers × [(h + q) + 2(h + k) + (q + h) + 3(h + m)]。
adapter + optimizer bytes = trainable parameters × 16,包括 BF16 权重、BF16 梯度、一份 FP32 主副本和两个 FP32 Adam 动量。 activation bytes = batch × sequence length × hidden size × 2 × (layers + 16)。这一激活值假设为每层保留一份 BF16 隐藏状态,另加正在重算的那一层约 16 倍隐藏层宽度的空间。
小计 = NF4 基础权重 + 适配器与优化器 + 激活值 + QLoRA 运行时开销 + 额外显卡开销。实际训练显存很大程度上取决于具体实现、目标模块和检查点策略。
通用常数
| 安全余量 | 12% |
|---|---|
| LLM 运行时开销 | 0.75 GiB |
| 每增加一张显卡的开销 | 0.3 GiB |
| QLoRA 运行时开销 | 1.5 GiB |
| QLoRA NF4 每权重位数 | 4.126953125 |
| LoRA 每个可训练参数的字节数 | 16 |
| 假设的 MLP / 隐藏层维度比 | 3.5 |
| Apple 统一内存可用比例 | 0.75 |
扩散模型(图像与视频):分阶段峰值
ComfyUI 按阶段执行工作流,它的显存管理器会在阶段之间把闲置模型移到系统内存(见下方 SDXL 实测中的日志: Unloaded partially: 3056.88 MB freed
)。因此显卡需要容纳的是占用最大的那个阶段,而不是所有模型之和:
- 文本编码 = 显卡上的文本编码器 + 推理预留
- 采样 = 扩散模型 + 采样激活值 + 推理预留
- VAE 解码 = VAE + 解码激活值 + 推理预留
total = max(stages) × (1 + 0.12)。结果卡片会列出每个阶段并标出峰值。推理预留取自 ComfyUI 的 minimum_inference_memory(),为 0.8 GiB(源码)。权重显存 = 源文件的确切字节数 ÷ 1,073,741,824;文本编码器卸载到 CPU 时不计入显存;选择 FP8 文本编码器但没有对应 FP8 文件时,该编码器单独回退到 FP16。
所有模型常驻显存(默认关闭,链接参数为 resident=1)模拟 ComfyUI --highvram 式的行为:每个阶段都同时保留其他模型的权重,显存需求变为全部权重 + 最大的激活值 + 预留。
激活值公式(来自 ComfyUI 自己的显存规划器)
这些系数不是我们拟合的,而是 ComfyUI 用来决定加载哪些模型的常数,读取自提交 1e719279f5 的源码。即使权重为 FP8,激活值也按 2 字节(BF16/FP16)计算。潜空间的宽、高分别除以对应 VAE 的压缩倍数(8、16 或 32)。 视频的潜空间帧数为 floor((帧数 − 1) / 时间压缩倍数) + 1。Mochi 的时间压缩倍数为 6,LTX-Video 为 8。
- 采样:
batch × latent elements × 2 bytes × 0.01 × memory_usage_factorMiB,即 ComfyUI 的 memory_required(),按采样器回退到的“一次只处理一个条件”的最小值计算(minimum_memory_required)。 - VAE 解码(按单个批次项计算,因为 ComfyUI 会根据空闲显存调整解码批次):SD/SDXL/SD3/Flux 为
2178 × h × w × 64 × 2字节(源码);Wan 2.1 为(2200 if ≤4 latent frames else 7000) × h × w × 64 × 2(源码);CogVideoX 为2800 × max(2, (t − 1) × 4 + 1) × h × w × 64 × 2(源码),按 2 个潜空间帧为一块计算,因为 ComfyUI 的 CogVideoX 解码器会分块滚动处理视频(源码)。 - 如果不分块解码放不下,ComfyUI 会自动改用分块解码重试(源码),所以只有 VAE 超出时判为黄色,并建议分块解码(2D 每块 64 个潜空间像素,3D 每块 256 个输出像素)。
这些是 ComfyUI 的规划估算,其作者也说明部分地方偏保守。它们没有考虑自定义节点(block swap、WanVideoWrapper)、不使用 PyTorch SDPA 的注意力实现,以及显存碎片。源仓库的默认分辨率按原样保留,包括不在 16 像素输入网格上的分辨率。
校准表
| 模型 | memory_usage_factor | VAE 解码公式 | 公开实测交叉验证 |
|---|---|---|---|
| FLUX.1 [dev] | 3.1 | 相对熵正则化 VAE |
|
| FLUX.1 [schnell] | 3.1 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Stable Diffusion XL Base 1.0 | 0.8 | 相对熵正则化 VAE |
|
| Stable Diffusion 3.5 Large | 1.6 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Wan 2.1 T2V 14B | 2.3042 | Wan 2.1 |
|
| Wan 2.1 T2V 1.3B | 0.6913 | Wan 2.1 |
|
| CogVideoX 5B | 2 | CogVideoX | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| SDXL Turbo | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Playground v2 512px Base | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Playground v2 1024px Aesthetic | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Playground v2.5 1024px Aesthetic | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| RealVisXL V4.0 | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| RealVisXL V5.0 | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| DreamShaper XL 1.0 | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| DreamShaper XL v2 Turbo | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Juggernaut XL v9 | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| SDXL-Lightning-1step | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| SDXL-Lightning-2step | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| SDXL-Lightning-4step | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| SDXL-Lightning-8step | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Latent Consistency SDXL | 0.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| FLUX.1 Krea [dev] | 3.1 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Stable Diffusion 3.5 Large Turbo | 1.6 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Qwen-Image | 1.8 | Wan 2.1 | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Qwen-Image-2512 | 1.8 | Wan 2.1 | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| HunyuanImage 2.1 | 8.7 | HunyuanImage 2.1 | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| HunyuanImage 2.1 Distilled | 8.7 | HunyuanImage 2.1 | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Z-Image-Turbo | 2.8 | 相对熵正则化 VAE | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| CogVideoX 2B | 2 | CogVideoX | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Mochi 1 Preview | 2 | Mochi 1 | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| HunyuanVideo T2V 720p | 1.8 | HunyuanVideo | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| HunyuanVideo 1.5 T2V 480p | 4 | HunyuanVideo 1.5 | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| HunyuanVideo 1.5 T2V 720p | 4 | HunyuanVideo 1.5 | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| HunyuanVideo 1.5 T2V 480p CFG Distilled | 4 | HunyuanVideo 1.5 | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| Wan 2.2 TI2V 5B | 1.3825 | Wan 2.2 | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| LTX-Video 0.9.1 (2B) | 5.5 | LTX-Video | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| LTX-Video 0.9.5 (2B) | 5.5 | LTX-Video | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| LTX-Video 0.9.7-dev (13B) | 11 | LTX-Video | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| LTX-Video 0.9.7-distilled (13B) | 11 | LTX-Video | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
| LTX-Video 0.9.8-13B-distilled (13B) | 11 | LTX-Video | 未找到公开实测数据,仅使用 ComfyUI 规划常数。 |
数据来源与局限
架构参数取自 Hugging Face 的 config.json,参数量取自 Hugging Face API 的 safetensors 元数据,组件权重大小取自文件列表。每个模型指南都附有确切来源和最近核验日期。
显存计算在本机完成。模型目录使用带日期的规格与价格快照,热门榜可从 OpenRouter 更新。显存结论不代表吞吐量、兼容性或购买建议。请在目标推理框架上实测,并为其他应用、显示输出和系统占用留出空间。