DataParallel

通过数据并行模式执行动态图模型。

目前，DataParallel 仅支持以多进程的方式执行动态图模型。

支持两种使用方式：

1. 使用 paddle.distributed.spawn 方法启动，例如：

1. 使用 方法启动，例如：

python -m paddle.distributed.launch –selected_gpus=0,1 demo.py

其中 demo.py 脚本的代码可以是下面的示例代码。

参数：

• Layer (Layer) - 需要通过数据并行方式执行的模型。

• last_comm_buffer_size （float，可选）它限制通信调用中最后一个缓冲区的内存大小（MB）。减小最后一个通信缓冲区的大小有助于提高性能。默认值：1。默认值：1

返回：支持数据并行的 Layer

返回类型：Layer实例

代码示例：

state_dict ( destination=None, include_sublayers=True )

获取当前层及其子层的所有parameters和持久的buffers。并将所有parameters和buffers存放在dict结构中。

参数：

• destination (dict, 可选) - 如果提供 ，则所有参数和持久的buffers都将存放在 destination 中。 默认值：None。

代码示例

set_state_dict ( state_dict, include_sublayers=True, use_structured_name=True )

根据传入的 state_dict 设置parameters和持久的buffers。 所有parameters和buffers将由 state_dict 中的 设置。

参数：

• state_dict (dict) - 包含所有parameters和可持久性buffers的dict。

• include_sublayers (bool, 可选) - 如果设置为True，则还包括子Layer的parameters和buffers。 默认值：True。

• use_structured_name (bool, 可选) - 如果设置为True，将使用Layer的结构性变量名作为dict的key，否则将使用Parameter或者Buffer的变量名作为key。默认值：True。

返回：无

代码示例