1.2.2 神经网络的复兴

反向传播算法引起的复兴阶段为1983—1995年,是神经网络发展的第二个高潮期。反向传播算法重新激发了人们对神经网络的兴趣。

1983年,物理学家Hopfield提出了一种用于联想记忆(Associative Memory)的神经网络,称为Hopfield网络。Hopfield网络当时在旅行商问题上取得了最好的结果,并引起了轰动。1984年,Geoffrey Hinton提出了一种随机化版本的Hopfield网络,即玻尔兹曼机(Boltzmann Machine)。

真正引起神经网络第二个研究高潮的是反向传播算法。20世纪80年代中期,一种连接主义模型开始流行,即分布式并行处理(PDP)模型。反向传播算法也逐渐成为PDP模型的主要学习算法。这时,神经网络才又开始引起人们的注意,并重新成为研究热点。随后,Lecun等将反向传播算法引入了卷积神经网络,并在手写体数字识别上取得了很大的成功。反向传播算法是迄今较成功的神经网络学习算法。在深度学习中,主要使用的自动微分可以看作反向传播算法的一种扩展。

然而,梯度消失问题(Vanishing Gradient Problem)阻碍神经网络的进一步发展,特别是循环神经网络。为了解决这个问题,Schmidhuber采用两步来训练一个多层的循环神经网络:①通过无监督学习的方式逐层训练每层循环神经网络,即预测下一个输入;②通过反向传播算法进行精调。

1995—2006年,神经网络的流行度又开始降低,在此期间,支持向量机和其他更简单的方法(如线性分类器)在机器学习领域的流行度逐渐超过了神经网络。

虽然神经网络可以很容易地增加层数、神经元数量,从而构建复杂的网络,但其计算复杂度也会随之增加,当时的计算机性能和数据规模不足以支持训练大规模神经网络。20世纪90年代中期,统计学习理论和以支持向量机为代表的机器学习模型开始兴起,相比之下,神经网络的理论基础不清晰、优化困难、可解释性差等缺点更加凸显,因此神经网络的研究又一次陷入低潮。