分布式CPU训练优秀实践

    提高CPU使用率主要依赖 ，可以充分利用多个CPU的计算能力来加速计算。

    以上参数中：

    • ： 对于CPU训练而言，应该选择 fluid.BuildStrategy.ReduceStrategy.Reduce
    • ：模型副本replica的个数，最好和num_threads一致

    提高通信速度

    要减少通信数据量，提高通信速度，主要是使用稀疏更新 ，目前支持 的主要是 embedding 。

    1. fc = fluid.layers.embedding(input=data, size=[dict_size, 16], is_sparse=True)
    • ： 配置embedding使用稀疏更新，如果embedding的dict_size很大，而每次数据data很少，建议使用sparse更新方式。