LLM 推理:显存与性能计算器ComfyUI 图像与视频显存计算器
任务设置
要估算的模型。架构参数和文件大小取自它在 Hugging Face 上的配置文件或文件列表。
每个权重的存储位数取决于格式。以 Llama 3.1 8B 为例,Q4_K_M 实测约为每权重 4.9 位。名义位宽只计紧凑存储的数值,请确认权重文件和运行时支持所选格式。
模型权重在显存中的存储精度。
KV 缓存精度可独立设置。FP4 和 INT4 按紧凑存储估算,NVFP4、Q8_0 和 Q4_0 另计块缩放因子。请确认运行时支持所选缓存格式。
上下文越长,缓存精度对显存的影响越大。
运行时设置按 32K 缓存测速推算
硬件配置
你的显卡,或 Apple Silicon 的内存档位。Mac 默认约可把 75% 的统一内存分给 GPU。
相同显卡的数量。显存按卡数相加,但推理框架必须能把模型拆到多张卡上(llama.cpp 可以拆分 LLM)。
输入参数
并行处理的序列数。每条序列都需要单独的 KV Cache(推理)或激活值(训练)。
一次批处理的序列数。服务并发人数与吞吐量需另行实测。
同时保存在显存里的最大 token 数(提示词 + 回复)。KV Cache 随它线性增长,上限为模型支持的最大长度。
同时保留会话的用户数。每位用户按当前批大小分配缓存。
模型开始生成前需要读取的 token 数。预填充速度相同时,输入越长,首个 token 的预计等待时间越长。
高级 · 模型结构
- 层数
- 32
- 注意力头数
- 32
- KV 头数
- 8
- 每头维度
- 128
- 隐藏层维度
- 4,096
- 最大上下文(tokens)
- 131,072
性能与内存结果
29.5%显存占用
显存估算
7.1 GiB 显存
够用预计剩余 16.9 GiB可用 24.0 GiB
按当前配置估算,计入安全余量后显存仍然够用。
估算 GPU 租赁 · $0.44/h · 单卡报价 × 卡数
- 生成速度
- ~74 token/s
- 每 token 间隔
- ~13.6 毫秒
- 首 token 等待
- ~0.528 秒
Llama 3.1 8B Instruct
模型规格RTX 4090 24 GiB
Q4_K_M · FP16 KV
显存构成GiB
竖线 = 硬件可用显存
- 权重(Q4_K_M)4.58 GiB
- KV Cache(FP16)1.00 GiB
- 运行时开销0.75 GiB
- CUDA Graph 捕获0.00 GiB · 0.0%
- 安全余量0.76 GiB
框架开销细分
下列为可复核的规划分摊。实际驱动、算子库和分配器占用因运行时而异。
- 设备运行时与驱动
- 0.50 GiB
- 算子工作区
- 0.20 GiB
- CUDA Graph
- 0.00 GiB
- 分配器基础
- 0.05 GiB
- 其他运行缓冲与多卡通信
- 0.00 GiB
对比上下文长度
对比显卡容量
推理模拟
Llama 3.1 8B Instruct · Q4_K_M · RTX 4090 24 GiB
模型开始生成前需要读取的 token 数。预填充速度相同时,输入越长,首个 token 的预计等待时间越长。
输入和生成的 token 总数须在当前上下文窗口内。
- 输入处理
- 0.53 秒
- 逐 token 生成
- 1.72 秒
- 预计总耗时
- 2.25 秒
就绪
计时回放 · 示例文本
点击播放,查看示例文本的输出节奏。
实测首 token 分位数与请求吞吐
常见问题
7B/8B 模型用 Q4_K_M 量化需要多少显存?
以 8B 模型为例:Llama 3.1 8B 使用 Q4_K_M、8,192 tokens 上下文、批大小 1、FP16 KV Cache 时,估算需要 7.1 GiB(含安全余量)。其他 7B/8B 架构或不同上下文长度会有差异。
为什么估算值比模型文件还大?
显存里除了权重,还有 KV Cache 或激活值、运行时缓冲区和安全余量。只看文件大小,并不能代表整个任务的显存占用。
安全余量留了多少?
我们在估算小计的基础上加 12%。绿色表示总量放得下;黄色表示只有小计放得下,或换成建议的更轻配置才放得下;红色表示在我们检查过的备选配置下都放不下。
多张显卡的显存可以合并计算吗?
我们会把所选数量显卡的可用显存相加,并为 LLM 额外计入每张卡的开销。前提是推理框架支持拆分任务。ComfyUI 需要把各组件分配到不同显卡上(例如使用 MultiGPU 节点),每个组件都必须能单独放进一张卡。
这里的 GB 和 GiB 是一回事吗?
显存估算统一使用 GiB。1 GiB 等于 1,073,741,824 字节,十进制 1 GB 等于 1,000,000,000 字节。硬件型号保留厂商标注。目录只有标称容量时,计算器取该数值作为以 GiB 计的容量假设。
计算器更新记录
查看全部版本 →- 推理新增草稿模型、按层或比例卸载权重、多卡链路选择,以及缺少实测时的速度估算。
- 显存改用 GiB 显示;苹果统一内存机型同时检查设备驻留量和卸载到系统的内存。
- 精度和高级设置采用与模型选择相同的可搜索菜单,支持方向键切换选项、回车确认。
- 图像和视频推理新增不同分辨率的显存峰值对照。设置去噪步数并填入实测单步耗时,即可估算采样时间。