循环神经网络介绍

• 原始神经网络是一对一的，也就是说只有一个输入（粉红色框），也只有一个输出（蓝色框）。比如输入一张图像，输出图像的类别；
• 循环神经网络有多种输入输出的组合：
  • 一对多：输入一张图片，输出一句话；
  • 多对一：输入一句话（多个词语），判断这句话的情感；
  • 多对多（输入和输出数量可以不同）：输入一句中文，输出一句英文（中英文的词语数量可以不同）；
  • 多对多（输入输出数量相同）：视频中的每一帧作为输入，输出每一帧的分类结果。
    

循环神经网络的基本结构：h_t是保存在绿色框内的状态，某一时刻的输入x_t和上一时刻的状态h_t-1经过一个函数f_W得到当前的状态h_t，权重W是函数f_W的参数。
注意：权重W和函数f_W在整个循环中是不变的。
原始的卷积神经网络公式如下：
状态h_t∈[-1,1]，通过状态h_t计算预测y_t。
多对多（输入输出个数相同）的计算图：

多对多（输入输出个数不相同）的计算图（先由多个输入得到一个状态h_t，然后通过这个h_t产生多个输出）：

例子

训练一个预测下一个字母的循环神经网络，希望输入"h"能生成"hello"。
在训练时，把"h",“e”,“l”,“l"作为输入，计算隐藏状态h_t，希望得到"e”,“l”,“l”,“o"作为输出。

在预测时，输入"h"得到输出"e”->“e"作为输入得到"l”->……->“l"作为输入得到"o”
其中，得到输出后，要经过一个softmax函数，得到预测概率（使用概率而不直接取得分最大的字符的原因是：使用概率的时候，产生的结果具有多样性，比如同一个前缀可以产生不同的词语），按概率预测下一个字母，转化为one-hot编码（因为训练时用的就是one-hot编码，如果测试时使用softmax形式，会导致结果不准确）

截断反向传播

如果使用整个文字序列进行前向传播后再进行反向传播，会耗费大量的时间和内存（保存用于反向传播的数据）

解决办法是在进行一定步前向传播后（比如100步之后），就执行反向传播。

训练结果

使用莎士比亚的戏剧作为训练数据，能生成莎士比亚风格的句子

也可以训练使其生成数学证明，它不仅会画图（虽然是乱画的），还能生成“证明省略”（哭笑不得，这真是学到了数学书的精华！）

理解RNN

在一个训练好的RNN模型中运行一段文字（具体怎么做的还没搞清楚），计算tanh©，得到-1的话字符就是红色的，得到1的话就是蓝色的，可以发现有些单元格和换行相关。

看图说话

模型结构

输入一张图片，输出一句话描述图中的内容。一般是由CNN+RNN组成。

生成描述的过程：

1. 输入一张图片到CNN网络，但是不需要最后一个全连接层和softmax层；
   
2. 把4096维的向量和< START >标记作为RNN的输入；
   
3. 对输出y_t采样，得到下一个输入。循环这一过程，最后得到< END >的时候结束。
   

有一些得到较好的结果

另一些描述则有问题，比如第一张图片中，模型把皮毛大衣认成猫了

注意机制

有注意机制的模型，每次只关心一个位置，生成一个单词。

1. 在经过CNN后，不输出一个4096维的向量，而是输出一个L维向量（代表L个位置），每个向量用D维来表示；
2. 这个LxD的特征输入RNN得到L个位置上的分布概率a1（D维向量）和单词的分布概率（没画出来，对它采样就得到第一个单词）；
   
3. 使用a1和特征计算z1（D维向量）；
   
4. z1和采样得到的y1作为输入，得到L个位置的分布概率a2和词汇的分布概率d1；
   
5. 再次使用a2和特征计算z2，对d1采样得到y2，输入RNN。
   

有注意机制的模型的结果：

CNN+RNN还可以用来训练关于图片的问答：

之前都在讲单个隐藏层的RNN，事实上多隐藏层的RNN也很常见（使用前一个隐藏层的输出作为后一个隐藏层的输入）。不过一般RNN的隐藏层都不会很深，比较常见的是两三个隐藏层。

LSTM

原始RNN的前向传播和反向传播如下图所示：
在前向传播时，把x_t和h_t-1拼接起来，乘以权重W，经过tanh激活函数，得到下一个h_t。
在反向传播时，dh_t-1=W_hh^T@dh_t。

所以计算dh0要乘以多个W_hh^T。如果W_hh的最大奇异值大于1，就会出现梯度爆炸；如果W_hh的最大奇异值小于1，就会出现梯度消失。

对于梯度爆炸问题，可以使用下图的方法进行截断；
而对于梯度消失问题，一般是换一个RNN的结构（比如LSTM）。

LSTM在前向传播时，把x_t和h_t-1拼接起来，乘以权重W，经过3个sigmoid和1个tanh激活函数，得到四个门。
四个门再经过右下角的公式，得到下一输出。

使用LSTM结构的一个优点是计算c_t-1不需要乘以W了，只需要乘以f门（f门在每次循环都会改变）

还有其他的RNN结构，如GRU

小结

• RNN在结构上有很大的灵活性
• 原始RNN很简单，但是结果一般
• 一般使用LSTM或者GRU，它们都改善了梯度流
• 原始的RNN会导致梯度消失或梯度爆炸，梯度爆炸可以用截断解决，梯度消失可以用LSTM解决
• 更好/更简单的RNN结构是研究的热点
• 需要进一步的理解RNN（理论上和经验上）