SimpleRNNCell

    简单循环神经网络单元

    该OP是简单循环神经网络单元（SimpleRNNCell），根据当前时刻输入x（t）和上一时刻状态h（t-1）计算当前时刻输出y（t）并更新状态h（t）。

    状态更新公式如下：

    其中的 act 表示激活函数。

    详情请参考论文 :。

    参数：

    • input_size (int) - 输入的大小。

    • hidden_size (int) - 隐藏状态大小。

    • activation (str, 可选) - 简单循环神经网络单元的激活函数。可以是tanh或relu。默认为tanh。

    • weight_ih_attr (ParamAttr，可选) - weight_ih的参数。默认为None。

    • bias_ih_attr (ParamAttr，可选) - bias_ih的参数。默认为None。

    • bias_hh_attr (ParamAttr，可选) - bias_hh的参数。默认为None。

    • name (str, 可选): OP的名字。默认为None。详情请参考 Name。

    • weight_ih (Parameter) - input到hidden的变换矩阵的权重。形状为（hidden_size, input_size）。对应公式中的

      SimpleRNNCell - 图1

      。

    • bias_ih (Parameter) - input到hidden的变换矩阵的偏置。形状为（hidden_size, ）。对应公式中的

      。

    • bias_hh (Parameter) - hidden到hidden的变换矩阵的偏置。形状为（hidden_size, ）。对应公式中的

      SimpleRNNCell - 图2

      。

    输入:

    • inputs (Tensor) - 输入。形状为[batch_size, input_size]，对应公式中的

    • states (Tensor，可选) - 上一轮的隐藏状态。形状为[batch_size, hidden_size]，对应公式中的

      SimpleRNNCell - 图3

      。当state为None的时候，初始状态为全0矩阵。默认为None。

    输出:

    • new_states (Tensor) - 新一轮的隐藏状态。形状为[batch_size, hidden_size]，对应公式中的

      。

    注解

    所有的变换矩阵的权重和偏置都默认初始化为Uniform(-std, std)，其中std =

    SimpleRNNCell - 图4

    。对于参数初始化，详情请参考 。

    代码示例：