LSTM

    长短期记忆网络

    该OP是长短期记忆网络（LSTM），根据输出序列和给定的初始状态计算返回输出序列和最终状态。在该网络中的每一层对应输入的step，每个step根据当前时刻输入

    和上一时刻状态

    LSTM - 图1

    计算当前时刻输出

    并更新状态 ht,ctht,ct 。

    状态更新公式如下：

    其中：

    • σσ ：sigmoid激活函数。

    参数：

    • input_size (int) - 输入的大小。

    • hidden_size (int) - 隐藏状态大小。

    • num_layers (int，可选) - 网络层数。默认为1。

    • time_major (bool，可选) - 指定input的第一个维度是否是time steps。默认为False。

    • dropout (float，可选) - dropout概率，指的是出第一层外每层输入时的dropout概率。默认为0。

    • weight_ih_attr (ParamAttr，可选) - weight_ih的参数。默认为None。

    • bias_hh_attr (ParamAttr，可选) - bias_hh的参数。默认为None。

    输入:

    • inputs (Tensor) - 网络输入。如果time_major为True，则Tensor的形状为[time_steps,batch_size,input_size]，如果time_major为False，则Tensor的形状为[batch_size,time_steps,input_size]。

    • initial_states (tuple，可选) - 网络的初始状态，一个包含h和c的元组，形状为[num_lauers * num_directions, batch_size, hidden_size]。如果没有给出则会以全零初始化。

    • sequence_length (Tensor，可选) - 指定输入序列的长度，形状为[batch_size]，数据类型为int64或int32。在输入序列中所有time step不小于sequence_length的元素都会被当作填充元素处理（状态不再更新）。

    输出:

    • final_states (tuple) - 最终状态，一个包含h和c的元组。形状为[num_layers * num_directions, batch_size, hidden_size]，当direction设置为bidirectional时，num_directions等于2，返回值的前向和后向的状态的索引是0，2，4，6…和1，3，5，7…，否则等于1。