2.深度学习到底为什么这么厉害
深度学习是一个对特征不断抽象的过程,我们给他一个图片,深度神经网络首先提取出点和边,然后组合成人局部的器官,比如说一个眼睛和鼻子,局部的器官之后可以把拼接成一个个人脸,人脸外貌上有差异,我们用模版再匹配出最相似的就可以看看有没有人脸。
深度学习非常像人的学习过程,你必须一层一层的抽象才能理解更深的概念,之所以叫深度是有多层的学习网络,每一层是把特征抽象更高阶的概念,理解非常复杂的事物。
这是深度学习网络可视化的结果,我们给一个识别数字的神经网络一张数字‘8’的图,可以清楚的看到每一层神经网络对原图进行了哪些特征变换。
这是一个深度学习常见的卷积结构,细节不讲了,大家可以感受一下,其中主要了Convolution Layer, Max-Pooling Layer,以及ReLu Activation。
Auto-Encoder(Layer-wise Training), RBM, DBN
• PReLu, RReLu
• Dropout
• RNN, LSTM
• Max-Out
• Highway(Residual Net)
• Batch normalization
• Weight normalization
随着研究的不断深入,深度学习还有着各种各样的变种和组件,上面是一些最新的关于深度学习的研究成果。