DataParallel
classkeras.distribution.DataParallel(
device_mesh=None, devices=None, auto_shard_dataset=True
)
数据并行分布.
你可以通过指定 device_mesh
或 devices
参数(但不能同时指定两者)来创建此实例.
device_mesh
参数应为 DeviceMesh
实例,并且仅支持 1D.如果网格具有多个轴,则第一个轴将被视为数据并行维度(并会发出警告).
当提供 devices
列表时,它们将用于构造 1D 网格.
当 mesh
和 devices
都缺失时,将使用 list_devices()
检测任何可用设备并从中创建 1D 网格.
参数:
device_mesh: 可选的 DeviceMesh
实例.
devices: 可选的设备列表.
auto_shard_dataset: 自动在进程之间分片数据集.默认为 true.