vLLM 的基准测试套件

vLLM 包含两组基准测试：

• 性能基准: 在高频率下（当vLLM的拉取请求（简称PR）被合并时）基准测试vLLM在各种工作负载下的性能。查看 vLLM性能仪表盘 获取最新的性能结果。

• 夜间基准测试: 在 vLLM 有重大更新时（例如，升级到新版本），比较 vLLM 与其他替代方案（tgi、trt-llm 和 lmdeploy）的性能。最新结果可在 vLLM GitHub README 中查看。

触发基准测试

性能基准测试和夜间基准测试可以通过向 vLLM 提交 PR 来触发，并在 PR 上标记 perf-benchmarks 和 nightly-benchmarks。

备注

请参考 vLLM 性能基准描述 和 vLLM 夜间基准描述 以获取关于基准环境、工作负载和指标的详细描述。