py_reader

    创建一个在Python端提供数据的reader

    该OP返回一个Reader Variable。该Reader提供了 decorate_paddle_reader() 和 decorate_tensor_provider() 来设置Python generator作为数据源，将数据源中的数据feed到Reader Variable。在c++端调用 Executor::Run() 时，来自generator的数据将被自动读取。与 DataFeeder.feed() 不同，数据读取进程和 Executor::Run() 进程可以使用 py_reader 并行运行。在每次数据传递开始时调用reader的 start() ，在传递结束和抛出 fluid.core.EOFException 异常后执行 reset() 。

    注意： Program.clone() （含义详见 ）不能克隆 py_reader ，且 read_file （ read_file 含义详见 read_file ）调用需在声明 py_reader 的program block内。

    参数:

    • shapes (list|tuple) – 一个列表或元组，shapes[i]是代表第i个数据shape，因此shape[i]也是元组或列表。

    • dtypes (list|tuple) – 一个string的列表或元组。为 shapes 对应元素的数据类型，支持bool，float16，float32，float64，int8，int16，int32，int64，uint8。

    • lod_levels (list|tuple) – lod_level的整型列表或元组

    • name (str，可选) – 具体用法请参见 ，一般无需设置，默认值为None。

    返回：reader，从reader中可以获取feed的数据，其dtype和feed的数据dtype相同。

    返回类型：Variable

    代码示例

    1.py_reader 基本用法如下

    1. import paddle
    2. import paddle.fluid as fluid
    3. import paddle.dataset.mnist as mnist
    5. def network(reader):
    6.     img, label = fluid.layers.read_file(reader)
    7.     # 用户自定义网络，此处以softmax回归为例
    8.     predict = fluid.layers.fc(input=img, size=10, act='softmax')
    9.     loss = fluid.layers.cross_entropy(input=predict, label=label)
    12. # 新建 train_main_prog 和 train_startup_prog
    13. train_main_prog = fluid.Program()
    14. train_startup_prog = fluid.Program()
    15. with fluid.program_guard(train_main_prog, train_startup_prog):
    16.     # 使用 fluid.unique_name.guard() 实现与test program的参数共享
    17.         train_reader = fluid.layers.py_reader(capacity=64,
    18.                                             shapes=[(-1, 1, 28, 28), (-1, 1)],
    19.                                             dtypes=['float32', 'int64'],
    20.                                             name='train_reader')
    21.         train_reader.decorate_paddle_reader(
    22.         paddle.reader.shuffle(paddle.batch(mnist.train(),
    23.                             batch_size=5),
    24.                             buf_size=500))
    25.         train_loss = network(train_reader) # 一些网络定义
    26.         adam = fluid.optimizer.Adam(learning_rate=0.01)
    27.         adam.minimize(train_loss)
    29. # Create test_main_prog and test_startup_prog
    30. test_main_prog = fluid.Program()
    31. test_startup_prog = fluid.Program()
    32. with fluid.program_guard(test_main_prog, test_startup_prog):
    33.     # 使用 fluid.unique_name.guard() 实现与train program的参数共享
    34.     with fluid.unique_name.guard():
    36.                                             shapes=[(-1, 1, 28, 28), (-1, 1)],
    37.                                             dtypes=['float32', 'int64'],
    38.                                             name='test_reader')
    39.         test_loss = network(test_reader)
    41. fluid.Executor(fluid.CUDAPlace(0)).run(train_startup_prog)
    42. fluid.Executor(fluid.CUDAPlace(0)).run(test_startup_prog)
    44. train_exe = fluid.ParallelExecutor(use_cuda=True,
    45.     loss_name=train_loss.name, main_program=train_main_prog)
    46. test_exe = fluid.ParallelExecutor(use_cuda=True,
    47.     loss_name=test_loss.name, main_program=test_main_prog)
    48. for epoch_id in range(10):
    49.     train_reader.start()
    50.     try:
    51.         while True:
    52.             train_exe.run(fetch_list=[train_loss.name])
    53.     except fluid.core.EOFException:
    54.         train_reader.reset()
    56. test_reader.start()
    57. try:
    58.     while True:
    59.         test_exe.run(fetch_list=[test_loss.name])