跳过链接
跳转到主导航
跳到内容
跳至页脚
入门指南
博客
Tutorials
文档
GitHub
Toggle search
Toggle menu
Home
/
Tutorials
/
Domino
Toggle Menu
培训
推理
压缩
科学
入门指南
ds_config
自动调优
批量大小
优化器
FP16
BFLOAT16
ZeRO优化
日志记录
Flops Profiler
监控
通信日志
模型压缩
数据效率
教程
入门指南
Azure 入门
加速器抽象
加速器设置指南
自动张量并行
自动调优
BingBertSQuAD 微调
BERT预训练
CIFAR-10
课程学习
数据效率
DeepNVMe
Domino
DS4Sci_EvoformerAttention
Flops Profiler
PyTorch Profiler
GAN
推理
学习率范围测试
Megatron-LM GPT2
专家混合模型 (MoE)
MoE for NLG
MoE 推理
模型压缩
Mixture-of-Quantization
监控
通信日志
单周期计划
One-Bit Adam
Zero-One Adam
One-Bit LAMB
管道并行
渐进式层丢弃
Sparse Attention
Transformer Kernel
ZeRO-Offload
ZeRO
ZeRO++
贡献
多米诺
Domino 在张量并行训练中实现了几乎完全的通信隐藏。请在 DeepSpeedExample 仓库中找到我们的
Domino-tutorial
。
Previous
Next
Enter your search term...