零推理

标题: “ZeRO-Inference: 通过权重量化和KV缓存卸载实现20倍推理加速” 摘要: “” 链接: https://github.com/microsoft/DeepSpeedExamples/blob/master/inference/huggingface/zero_inference/README.md 日期: 2023-09-12 00:09:00 标签: 推理 ZeRO 量化 英文 —