DistributeTranspilerConfig
单机任务切换为分布式任务的配置类,用户可根据需求进行配置,如指定同步/异步训练,指定节点个数及模型切分逻辑。
返回:None
( bool )
( PSDispatcher )
参数分发的方式,当前支持的方法包括 cn_api_fluid_transpiler_RoundRobin 和 两种, 默认为RoundRobin。
注意: 尝试选择最佳方法来达到负载均衡。
参数切片时,最小数据块的大小,默认为8192。
注意: 根据:https://github.com/PaddlePaddle/Paddle/issues/8638#issuecomment-369912156 , 当数据块大小超过2MB时,我们可以有效地使用带宽。如果你想更改它,请详细查看slice_variable函数。
代码示例