单机 decode(生成速度,单流)
| 模型 | 框架/量化 | 生成 tok/s | 备注 |
|---|---|---|---|
| gpt-oss-120b (117B MoE) | llama.cpp MXFP4 | 60.6(32K ctx 40.6) | ggerganov 官方 |
| gpt-oss-120b | SGLang MXFP4 | 52 | 论坛实测 |
| gpt-oss-120b | llama.cpp FP16 | 35–37 | FP16 更慢 |
| gpt-oss-20b | Ollama MXFP4 | 49.7 | LMSYS |
| Qwen3 Coder 30B (MoE) | llama.cpp Q8 | 44.3 | ggerganov |
| Qwen3.8-Flash-Next (MoE) | vLLM/EXL3 + MTP | 65–81 | 社区调优 |
| Qwen3.8-27B (dense) | 原生 → 调优 | 12 → 31–58 | NVFP4+MTP |
| Llama 3.1 8B (dense) | SGLang FP8 | 20.5(batch32 聚合 368) | LMSYS |
| Llama 3.1 70B (dense) | SGLang FP8 | 2.7 | 低于阅读速度 |
Prefill(强项)
- 8B dense:~8,000 tok/s;gpt-oss-120b:~1,956 tok/s
- 2×GB10 跑 GLM-5.3-Flash(320B MoE):prefill 722–1,262 tok/s
多机堆叠(社区实测)
- 2×Spark TP=2,GLM-5.3-Flash EXL3:62.9 tok/s 单流
- 2×Spark,gpt-oss-120b vLLM:75.96 tok/s
- 16×Spark,Kimi K3(2.8T):29.8 tok/s
回帖请注明:模型 / 量化 / 框架版本 / 上下文 / 单流或并发,数据才可复现。