DeepSpeed-FastGen: MIIとDeepSpeed-InferenceによるLLMのための高速なテキスト生成 Permalink
博客
Zero Inference
标题: “ZeRO-Inference: 通过权重量化和KV缓存卸载实现20倍更快的推理” 摘要: “” 链接: https://github.com/microsoft/DeepSpeedExa...
ZeRO 阶段 1 减少通信
分区感知的 ZeRO，通信时间最多减少 2 倍！
Turing-NLG: 微软的170亿参数语言模型 永久链接
DeepSpeed 被用来训练世界上最大的语言模型。