什么是循环神经网络——学习笔记 -ag凯发k8国际

• 序列模型：以一个句子为例

1 循环网络：通过带有自反馈的神经元，能够处理任意长度的（存在时间关联性）序列；

                    将过去的信息整合起来，辅助处理当前信息。

• 循环网络的结构以及参数

• 循环网络的前向传播的计算 

 

• 简化表示

 

• 穿越时间反向传播（第一幅图是前向传播计算损失函数，第二幅图是后向传播调整参数）

 

 

2 类型：固定长度序列到可变长度序列（图像到文字），可变长度序列到固定长度序列（文字到情感），可变长度序列到可变长度序列。

• 循环网络举例（语音识别系统和翻译系统的基本组成，将语音或者文本识别出来）

 

 

3 变种：

    双向循环神经网络（brnns）：结合过去和未来的信息进行工作，主要用于手写识别及语音识别领域。由两个rnn组成，一个前向处理序列数据，一个后向处理序列数据。

    编码-解码网络结构：可变长度序列到可变长度序列，例如机器翻译

4 深度循环网络结构：

        rnn一般只是分为三个部分：a. 从输入层到隐藏层；b. 从前一隐藏层到下一隐藏层；c. 从隐藏层到输出层。

        实际上还不是深度网络。

5 门控循环神经网络

        解决长期依赖（ltd）问题：关键信息在传播过程中逐渐被稀释。（梯度爆炸与梯度消失）

        门控循环神经网络种类：长短期记忆网络（lstm），门控（gated）循环网络

        1 长短期记忆网络（lstm）：输入为数据的当前时间片段以及前一时间片段隐藏层的输出

输入门：选择重要的

遗忘门：清除不重要的

输出门：锁住重要的

        2 门控（gated）循环网络

门控循环单元（grus）：使用更新门及重置门

 

 

总结

以上是ag凯发k8国际为你收集整理的什么是循环神经网络——学习笔记的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得ag凯发k8国际网站内容还不错，欢迎将ag凯发k8国际推荐给好友。