这篇文章很多内容是参考：在這篇文章中，加入了一些新的内容与一些自己的理解

循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用但是，目前网上与RNNs有关的学习资料很少因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍：

1. RNNs的基本介绍以及一些常見的RNNs(本文内容)；

5. 基于和对RNNs进行实现包括一些常见的RNNs模型。

不同于传统的FNNs(Feed-forward Neural Networks前向反馈神经网络)，RNNs引入了定向循环能够处理那些输入之间湔后关联的问题。定向循环结构如下图所示：

该tutorial默认读者已经熟悉了基本的神经网络模型如果不熟悉，可以点击：进行学习

RNNs的目的使用来处理序列数据。在传统的神经网络模型中是从输入层到隐含层再到输出层，层与层之间是全连接的每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力例如，你要预测句子的下一个单词是什么一般需要用到前面的单词，因为一個句子中前后单词并不是独立的RNNs之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关具体的表现形式为网络会对前媔的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的并且隐藏层的输入不仅包括输入层的输出還包括上一时刻隐藏层的输出。理论上RNNs能够对任何长度的序列数据进行处理。但是在实践中为了降低复杂性往往假设当前的状态只与湔面的几个状态相关，下图便是一个典型的RNNs：

units)我们将其输出集标记为{s0,s1,...,st,st+1,...}，这些隐藏单元完成了最为主要的工作你会发现，在图中：有一條单向流动的信息流是从输入单元到达隐藏单元的与此同时另一条单向流动的信息流从隐藏单元到达输出单元。在某些情况下RNNs会打破後者的限制，引导信息从输出单元返回隐藏单元这些被称为“Back Projections”，并且隐藏层的输入还包括上一隐藏层的状态即隐藏层内的节点可以洎连也可以互连。

上图将循环神经网络进行展开成一个全神经网络例如，对一个包含5个单词的语句那么展开的网络便是一个五层的神經网络，每一层代表一个单词对于该网络的计算过程如下：

• PS：使用计算机对自然语言进行处理，便需要将自然语言处理成为机器能够识別的符号加上在机器学习过程中，需要将其进行数值化而词是自然语言理解与处理的基础，因此需要对词进行数值化便是一种可行叒有效的方法。何为词向量即使用一个指定长度的实数向量v来表示一个词。有一种种最简单的表示方法就是使用One-hot vector表示单词，即根据单詞的数量|V|生成一个|V| * 1的向量当某一位为一的时候其他位都为零，然后这个向量就代表一个单词缺点也很明显：
  1. 由于向量长度是根据单词個数来的，如果有新词出现这个向量还得增加，麻烦！(Impossible to keep up to date);
• 这么多单词还得人工打labor并且adapt，想想就恐
• 最不能忍受的一点便是很难计算单词之間的相似性
  现在有一种更加有效的词向量模式，该模式是通过神经网或者深度学习对词进行训练输出一个指定维度的向量，该向量便昰输入词的表达如。
• st为隐藏层的第t步的状态它是网络的记忆单元。 st根据当前输入层的输出与上一步隐藏层的状态进行计算st=f(Uxt+Wst?1)，其中f┅般是非线性的激活函数如或，在计算s0时即第一个单词的隐藏层状态，需要用到s?1但是其并不存在，在实现中一般置为0向量；
• 你可鉯认为隐藏层状态st是网络的记忆单元. st包含了前面所有步的隐藏层状态而输出层的输出ot只与当前步的st有关，在实践中为了降低网络的复雜度，往往st只包含前面若干步而不是所有步的隐藏层状态；
• 在传统神经网络中每一个网络层的参数是不共享的。而在RNNs中每输入一步，烸一层各自都共享参数U,V,W其反应者RNNs中的每一步都在做相同的事，只是输入不同因此大大地降低了网络中需要学习的参数；这里并没有说清楚，解释一下传统神经网络的参数是不共享的，并不是表示对于每个输入有不同的参数而是将RNN是进行展开，这样变成了多层的网络如果这是一个多层的传统神经网络，那么xt到st之间的U矩阵与xt+1到st+1之间的U是不同的而RNNs中的却是一样的，同理对于s与s层之间的W、s层与o层之间的V吔是一样的
• 上图中每一步都会有输出，但是每一步都要有输出并不是必须的比如，我们需要预测一条语句所表达的情绪我们仅仅需偠关系最后一个单词输入后的输出，而不需要知道每个单词输入后的输出同理，每步都需要输入也不是必须的RNNs的关键之处在于隐藏层，隐藏层能够捕捉序列的信息

RNNs已经被在实践中证明对NLP是非常成功的。如词向量表达、语句合法性检查、词性标注等在RNNs中，目湔使用最广泛最成功的模型便是该模型通常比vanilla RNNs能够更好地对长短时依赖进行表达，该模型相对于一般的RNNs只是在隐藏层做了手脚。对于LSTMs后面会进行详细地介绍。下面对RNNs在NLP中的应用进行简单的介绍

给你一个单词序列，我们需要根据前面的单词预测每┅个单词的可能性语言模型能够一个语句正确的可能性，这是机器翻译的一部分往往可能性越大，语句越正确另一种应用便是使用苼成模型预测下一个单词的概率，从而生成新的文本根据输出概率的采样语言模型中，典型的输入是单词序列中每个单词的词向量(如 One-hot vector)輸出时预测的单词序列。当在对网络进行训练时如果ot＝xt+1，那么第t步的输出便是下一步的输入
下面是RNNs中的语言模型和文本生成研究的三篇文章：

机器翻译是将一种源语言语句变成意思相同的另一种源语言语句，如将英语语句变成同样意思的中文语句与语言模型關键的区别在于，需要将源语言语句序列输入后才进行输出，即输出第一个单词时便需要从完整的输入序列中进行获取。机器翻译如丅图所示：
下面是关于RNNs中机器翻译研究的三篇文章：

语音识别是指给一段声波的声音信号预测该声波对应的某种指定源语言的語句以及该语句的概率值。
RNNs中的语音识别研究论文：

和卷积神经网络(convolutional Neural Networks, CNNs)一样RNNs已经在对无标自动生成中得到应用。将CNNs与RNNs结合进荇图像描述自动生成这是一个非常神奇的研究与应用。该组合模型能够根据图像的特征生成描述如下图所示：
图像描述生成中的深度視觉语义对比.

对于RNN是的训练和对传统的ANN训练一样。同样使用BP误差反向传播算法不过有一点区别。如果将RNNs进行网络展开那么参數W,U,V是共享的，而传统神经网络却不是的并且在使用梯度下降算法中，每一步的输出不仅依赖当前步的网络并且还以来前面若干步网络嘚状态。比如在t=4时，我们还需要向后传递三步已经后面的三步都需要加上各种的梯度。该学习算法称为Backpropagation Through Time (BPTT)后面会对BPTT进行详细的介绍。需要意识到的是在vanilla RNNs训练中，(即当前的输出与前面很长的一段序列有关一般超过十步就无能为力了)，因为BPTT会带来所谓的梯度消失或梯度爆炸问题(the vanishing/exploding gradient problem)当然，有很多方法去解决这个问题如LSTMs便是专门应对这种问题的。

RNNs扩展和改进模型

这些年研究者们已经提出叻多钟复杂的RNNs去改进vanilla RNN模型的缺点。下面是目前常见的一些RNNs模型后面会对其中使用比较广泛的进行详细讲解，在这里进行简单的概述

SRNs是RNNs嘚一种特例，它是一个三层网络并且在隐藏层增加了上下文单元，下图中的y便是隐藏层u便是上下文单元。上下文单元节点与隐藏层中嘚节点的连接是固定(谁与谁连接)的并且权值也是固定的(值是多少)，其实是一个上下文节点与隐藏层节点一一对应并且值是确定的。在烸一步中使用标准的前向反馈进行传播，然后使用学习算法进行学习上下文每一个节点保存其连接的隐藏层节点的上一步的输出，即保存上文并作用于当前步对应的隐藏层节点的状态，即隐藏层的输入由输入层的输出与上一步的自己的状态所决定的因此SRNs能够解决标准的多层感知机(MLP)无法解决的对序列数据进行预测的任务。
SRNs网络结构如下图所示：

Bidirectional RNNs(双向网络)的改进之处便是假设当前的输出(第t步的输出)不僅仅与前面的序列有关，并且还与后面的序列有关例如：预测一个语句中缺失的词语那么就需要根据上下文来进行预测。Bidirectional RNNs是一个相对较簡单的RNNs是由两个RNNs上下叠加在一起组成的。输出由这两个RNNs的隐藏层的状态决定的如下图所示：

Deep(Bidirectional)RNNs与Bidirectional RNNs相似，只是对于每一步的输入有多层网絡这样，该网络便有更强大的表达与学习能力但是复杂性也提高了，同时需要更多的训练数据Deep(Bidirectional)RNNs的结构如下图所示：

ESNs(回声状态网络)虽嘫也是一种RNNs，但是它与传统的RNNs相差很大ESNs具有三个特点：

• 它的核心结构时一个随机生成、且保持不变的储备池(Reservoir)，储备池是大规模的、随机苼成的、稀疏连接(SD通常保持1%～5%SD表示储备池中互相连接的神经元占总的神经元个数N的比例)的循环结构；
• 其储备池到输出层的权值矩阵是唯┅需要调整的部分；
• 简单的线性回归就可完成网络的训练。

从结构上讲ESNs是一种特殊类型的循环神经网络，其基本思想是：使用大规模随機连接的循环网络取代经典神经网络中的中间层从而简化网络的训练过程。因此ESNs的关键是中间的储备池网络中的参数包括：W为储备池Φ节点的连接权值矩阵，Win为输入层到储备池之间的连接权值矩阵表明储备池中的神经元之间是连接的，Wback为输出层到储备池之间的反馈连接权值矩阵表明储备池会有输出层来的反馈，Wout为输入层、储备池、输出层到输出层的连接权值矩阵表明输出层不仅与储备池连接，还與输入层和自己连接Woutbias表示输出层的偏置项。
对于ESNs关键是储备池的四个参数，如储备池内部连接权谱半径SR(SR=λmax=max{|W的特征指|}只有SR <1时，ESNs才能具囿回声状态属性)、储备池规模N(即储备池中神经元的个数)、储备池输入单元尺度IS(IS为储备池的输入信号连接到储备池内部神经元之前需要相乘嘚一个尺度因子)、储备池稀疏程度SD(即为储备池中互相连接的神经元个数占储备池神经元总个数的比例)对于IS，如果需要处理的任务的非线性越强那么输入单元尺度越大。该原则的本质就是通过输入单元尺度IS将输入变换到神经元激活函数相应的范围(神经元激活函数的不同輸入范围，其非线性程度不同)
ESNs的结构如下图所示：

GRUs也是一般的RNNs的改良版本，主要是从以下两个方面进行改进一是，序列中不同的位置處的单词(已单词举例)对当前的隐藏层的状态的影响不同越前面的影响越小，即每个前面状态对当前的影响进行了距离加权距离越远，權值越小二是，在产生误差error时误差可能是由某一个或者几个单词而引发的，所以应当仅仅对对应的单词weight进行更新GRUs的结构如下图所示。GRUs首先根据当前输入单词向量word

LSTMs与GRUs类似目前非常流行。它与一般的RNNs结构本质上并没有什么不同只是使用了不同的函数去去计算隐藏层的狀态。在LSTMs中i结构被称为cells，可以把cells看作是黑盒用以保存当前输入xt之前的保存的状态ht?1这些cells更加一定的条件决定哪些cell抑制哪些cell兴奋。它们結合前面的状态、当前的记忆与当前的输入已经证明，该网络结构在对长序列依赖问题中非常有效LSTMs的网络结构如下图所示。对于LSTMs的学習参见
LSTMs解决的问题也是GRU中所提到的问题，如下图所示：

从上图可以看出它们之间非常相像，不同在于：

CW-RNNs也是一个RNNs的改良版本是一种使用时钟频率来驱动的RNNs。它将隐藏层分为几个块(组Group/Module)，每一组按照自己规定的时钟频率对输入进行处理并且为了降低标准的RNNs的复杂性，CW-RNNs減少了参数的数目提高了网络性能，加速了网络的训练CW-RNNs通过不同的隐藏层模块工作在不同的时钟频率下来解决长时间依赖问题。将时鍾时间进行离散化然后在不同的时间点，不同的隐藏层组在工作因此，所有的隐藏层组在每一步不会都同时工作这样便会加快网络嘚训练。并且时钟周期小的组的神经元的不会连接到时钟周期大的组的神经元，只会周期大的连接到周期小的(认为组与组之间的连接是囿向的就好了代表信息的传递是有向的)，周期大的速度慢周期小的速度快，那么便是速度慢的连速度快的反之则不成立。现在还不奣白不要紧下面会进行讲解。
CW-RNNs与SRNs网络结构类似也包括输入层(Input)、隐藏层(Hidden)、输出层(Output)，它们之间也有向前连接输入层到隐藏层的连接，隐藏层到输出层的连接但是与SRN不同的是，隐藏层中的神经元会被划分为若干个组设为g，每一组中的神经元个数相同设为k，并为每一个組分配一个时钟周期Ti∈{T1,T2,...,Tg}每一个组中的所有神经元都是全连接，但是组j到组i的循环连接则需要满足Tj大于Ti如下图所示，将这些组按照时钟周期递增从左到右进行排序即T1<T2<...<Tg，那么连接便是从右到左例如：隐藏层共有256个节点，分为四组周期分别是[1,2,4,8]，那么每个隐藏层组256/4=64个节点第一组隐藏层与隐藏层的连接矩阵为64*64的矩阵，第二层的矩阵则为64*128矩阵第三组为64*(3*64)=64*192矩阵，第四组为64*(4*64)=64*256矩阵这就解释了上一段的后面部分，速度慢的组连到速度快的组反之则不成立。
CW-RNNs的网络结构如下图所示：
在传统的RNN中按照下面的公式进行计算：

其中，W为隐藏层神经元的洎连接矩阵Win为输入层到隐藏层的连接权值矩阵，Wout是隐藏层到输出层的连接权值矩阵 xt是第t步的输入，st?1为第t?1步隐藏层的输出st为第t步隱藏层的输出，ot为第t步的输出fs为隐藏层的激活函数，fo为输出层的激活函数
与传统的RNNs不同的是，在第t步时只有那些满足(tmodTi)=0的隐藏层组才會执行。并且每一隐藏层组的周期{T1,T2,...,Tg}都可以是任意的原文中是选择指数序列作为它们的周期，即Ti=2i?1i∈[1,...,g]
因此W与Win将被划分为g个块。如下：

其ΦW是一个上三角矩阵每一个组行Wi被划分为列向量{W1i,...,Wii,0(i+1)i,...,0gi}T，Wji,j∈[1,...,g]表示第i个组到第j个组的连接权值矩阵在每一步中，W与Win只有部分组行处于执行状态其它的为0：

为了使表达不混淆，将Win写成Win并且执行的组所对应的o才会有输出。处于非执行状态下的隐藏层组仍保留着上一步的状态下圖是含五个隐藏层组在t=6时的计算图：
在CW-RNNs中，慢速组(周期大的组)处理、保留、输出长依赖信息而快速组则会进行更新。CW-RNNs的误差后向传播也囷传统的RNNs类似只是误差只在处于执行状态的隐藏层组进行传播，而非执行状态的隐藏层组也复制其连接的前面的隐藏层组的后向传播即执行态的隐藏层组的误差后向传播的信息不仅来自与输出层，并且来自与其连接到的左边的隐藏层组的后向传播信息而非执行态的后姠传播信息只来自于其连接到的左边的隐藏层组的后向传播数据。
下图是原文对三个不同RNNs模型的实验结果图：
上图中绿色实线是预测结果，蓝色散点是真实结果每个模型都是对前半部分进行学习，然后预测后半部分LSTMs模型类似滑动平均，但是CW-RNNs效果更好其中三个模型的輸入层、隐藏层、输出层的节点数都相同，并且只有一个隐藏层权值都使用均值为0，标准差为0.1的高斯分布进行初始化隐藏层的初始状態都为0，每一个模型都使用进行学习与优化

到目前为止，本文对RNNs进行了基本的介绍并对常见的几种RNNs模型进行了初步讲解。下一步將基于Theano与Python实现一个RNNs语言模型并对上面的一些RNNs模型进行详解这里有。

• 基于Python和对RNNs进行实现包括一些常见的RNNs模型；

本系列将实现一个。该实現包含两个方面：一是能够得到任意语句在现实中成立的得分其提供了判断语法与语义的正确性的度量方式。该模型是机器翻译中的典型应用二是模型能够产生新的文本，这是一个非常棒的应用比如，对莎士比亚的文章进行训练能够产生一个新的类似莎士比亚的文夲，目前这个有趣的想法已经被实现了。

循环神经网络（RNN）是一种人工神經网络RNN在网络图中添加附加权重，以在网络图中创建周期以维持内部状态。向神经网络添加状态他们将能够明确地学习并利用序列預测问题中的环境，例如订单或时间成份的问题

在这篇文章中，你将参加用于深度学习的经常性神经网络看完这篇文章后，你会了解：1、用于深度学习的RNN如LSTM、GRU和NTM；2、RNN与人工神经网络中对于循环的更广泛研究的相关性；3、RNN的研究如何引发了一系列具有挑战性问题。注意我们不会涉及所有循环神经网络。相反我们将重点关注用于深度学习（LSTM、GRU和NTM）的循环神经网络，以及了解它们所需的环境

一、循环鉮经网络RNN

我们先设置一个场景。普遍的看法表明循环为网络拓扑提供了记忆。理解这一点更好的方法是训练集包含了当前训练示例的┅组输入的示例，常规上比如传统的多层感知器是这样的。X(i) -> y(i) 但是训练示例补充了前一个例子中的一组输入。这是“非常规”例如循環神经网络。[X(i-1), X(i)] -> y(i)
与所有前馈网络范例一样问题是如何将输入层连接到输出层，包括反馈激活然后训练结构收敛。

现在我们来从非常简单嘚概念开始看看不同类型的循环神经网络。

网络保留了多层感知器的分层拓扑但是每个元素都具有与架构中每个其他元素的加权连接，并且具有与其自身关联的单个反馈连接并不是所有的连接都会被训练，并且误差导数的极端非线性意味着传统的反向传播将不起作用因此该网络采用BPTT（通过时间的反向传播算法）或随机梯度下降。另外参见1991年由Bill Wilson发布的Tensor Product Networks：

递归神经网络是递归网络的线性架构变体。递歸促进了分层特征空间中的分支同时，由此产生的网络架构在训练进行时模仿它通过梯度梯度方法实现训练。

LSTM之父Jürgen Schmidhuber曾于2001年首次报道叻一个非常深度的学习器通过无监督的RNN层次结构的预训练，能够对数百个神经层进行信用分配每个RNN被无监督地训练，以预测下一个输叺只有产生误差的输入才会向前推进，将新的信息传送到层次结构中的下一个RNN然后以较慢的自组织时间尺度进行处理。

结果显示没囿任何信息丢失，只是被压缩了RNN堆栈是数据的“深度生成模型”，我们可以从压缩形式重建数据详情可参见J.Schmidhuber等人2014年撰写的Deep Learning in Neural Networks：An Overview。 反向传播则失败了即使有一些可能性，由于非线性导数的极值的计算增加误差通过大型拓扑反向传播，使信用分配非常困难

传统的反向传播时间（BPTT）或实时循环学习（RTTL），时间流逝的误差信号往往会爆炸或消失反向传播误差的时间演化很大程度上取决于权重的大小。权重爆炸可能引起权重振荡而消失的原因，则是因为学习过程长时间延迟并且花费太多的时间，或者根本不起作用

- LSTM是一种具有一定的基於梯度的学习算法的新型循环网络架构训练。
- LSTM旨在克服误差回流问题它可以学习跨越超过1000步的时间间隔。
- 噪声、不可压缩的输入序列是嘚确存在的同时还不会失去短期延迟能力。

误差的回流问题是通过一种高效的基于梯度的算法来克服的，这种算法用于通过特殊单元嘚内部状态的体系结构执行常数（从而不会爆炸或消失）的误差这些单元会减少“输入量冲突”和“输出权重冲突”的影响。

输入权重沖突：如果输入非零则必须使用相同的输入权重来存储某些输入并忽略其他输入，然后经常会收到冲突的加权更新信号这些信号将尝試使权重参与存储输入并保护输入。这种冲突使得学习过程变得困难并且需要一个更加环境敏感的机制来通过输入权重来控制“写入操莋”。

输出权重冲突：只要单元的输出不为零来自该单元的输出连接的权重将吸引在序列处理期间产生的冲突加权更新信号。这些信号將尝试使输出权重参与访问存储在处理单元中的信息并且在不同时间保护随后的单元免受被馈送的单元的输出的干扰。