复杂网络

是由 conv2d 与 串联而成。 该模块在图像分类模型中广泛使用，比如应用在 MNIST 数字分类的问题。

API Reference 请参考

img_conv_group 是由 conv2d , , dropout 和 组成。 该模块可以实现多个 conv2d , 和 dropout 的串联单元与一个 的组合。 其中， conv2d , 和 dropout 的数量都可以分别控制，从而得到多样的组合。 该模块广泛使用在比较复杂的图像分类任务中，比如 。

sequence_conv_pool 是由 sequence_conv 与 串联而成。 该模块在 自然语言处理 以及 等领域均有广泛应用， 比如 文本分类模型 , 以及 Multi-view Simnet 等模型。

API Reference 请参考

全称 Gated Linear Units， 来源于论文 Language Modeling with Gated Convolutional Networks ，由 ， sigmoid 和 组成。 它会把输入数据均分为2等份，并对第二部分求 Sigmoid , 然后再与第一部分数据求点乘得到输出。

scaled_dot_product_attention 来源于论文 ，主要是由 fc 和 组成。 对于输入数据 Queries , 和 Values 按照如下公式求出 Attention 。

该模块广泛使用在 机器翻译 的模型中，比如 。