1.6 本章小结

本章围绕神经网络和深度学习的概念、内涵、研究内容及学习意义等深入展开论述。要理解深度学习的意义或重要性,就得从机器学习或人工智能的更广的视角来分析。在机器学习中,除了模型和学习算法,特征表示也是影响最终学习效果的重要因素,甚至在很多任务上比算法更重要。在实际开发一个机器学习的应用时,往往需要花费大量的时间和精力,尝试不同的特征及特征组合,以此来提高系统的鲁棒性,这就是所谓的特征工程问题。其中表示学习是机器学习中的问题关键,早期的表示学习方法(如特征提取和特征选择)都是引入一些人工的主观假设来进行学习的。这种表示学习方法不是端到端的学习方式,得到的表示不一定对后续的机器学习任务有效。而深度学习则是对表示学习和预测模型的学习进行端到端的学习,中间不需要人工干预。深度学习要解决的问题是贡献度分配问题,而神经网络恰好是解决这个问题的有效模型。目前,深度学习主要以神经网络模型为基础,研究模型架构设计,并能够有效地学习模型的参数,通过优化模型性能,使其在不同任务中都能得到很好的应用。神经网络研究主要依据脑组织的结构和机理,是从生物神经网络的构成上得到启发的。

深度学习的研究进展非常迅速。因此,最新的文献一般会发表在学术会议上。与深度学习相关的学术会议主要如下。

(1)国际表征学习大会(International Conference on Learning Representations,ICLR):主要聚焦深度学习。

(2)神经信息处理系统大会(Annual Conference on Neural Information Processing Systems,NeurIPS):交叉学科会议,但偏重于机器学习,主要包括神经信息处理、统计方法、学习理论及应用等。

(3)国际机器学习会议(International Conference on Machine Learning,ICML):机器学习顶级会议。深度学习作为近年来的热点,也占据了ICML。

(4)国际人工智能联合会议(International Joint Conference on Artificial Intelligence,IJCAI):人工智能领域顶尖的综合性会议,历史悠久,从1969年开始举办。

(5)国际人工智能协会(AAAI Conference on Artificial Intelligence,AAAI):人工智能领域的顶级会议,每年二月份左右召开,地点一般在北美。

另外,人工智能的很多子领域也都有非常好的专业学术会议。在计算机视觉领域,有IEEE国际计算机视觉与模式识别会议(IEEE Conference on Computer Vision and Pattern Recognition,CVPR)和计算机视觉国际大会(International Conference on Computer Vision,ICCV);在自然语言处理领域,有国际计算语言学协会(Annual Meeting of the Association for Computational Linguistics,ACL)和自然语言处理实证方法会议(Conference on Empirical Methods in Natural Language Processing,EMNLP)等。