大家好,下面是成功复现的环境配置供您参考:

案例 1

  • 配置:l40s 48G + 9654 x2 (192核心) + 768G DDR5 12通道
  • 性能:预填充 108 个令牌/秒,解码 10.8 个令牌/秒
  • 使用的版本:主源代码编译

案例 2

  • 配置:双Xeon 6430 32C处理器,总计64个核心和128个线程,480GB DDR5内存,单个4090 24G显卡
  • 性能:运行速度约为每秒6-8个令牌

注意

如果还有其他成功运行的配置,请随时告诉我们。我们会持续更新,供大家在重现时参考。(已发现它在2080、AMD等上也有效。(doge : )click here