2.1　基本概念

2.1.1　大话机器学习本质

机器学习（Machine Learning，ML），顾名思义，就是让机器去学习。这里，机器指的是计算机，是算法运行的物理载体，也可以把各种算法本身当作一个有输入和输出的机器。那么到底让计算机去学习什么呢？对于一个任务及其表现的度量方法，设计一种算法，让算法能够提取数据中所蕴含的规律，这就叫机器学习。如果输入机器的数据是带有标签的，就称作监督学习；如果数据是无标签的，就是无监督学习。

2.1.2　什么是神经网络

神经网络就是按照一定规则将多个神经元连接起来的网络。不同的神经网络，具有不同的连接规则。我们以全连接（Full Connected，FC）神经网络为例，全连接层是指第N层的每个神经元和第N-1层的所有神经元相连，第N-1层神经元的输出就是第N层神经元的输入。它的特点如下。

（1）有三种层：输入层（Input Layer）、隐含层（Hidden Layer）和输出层（Output Layer）。

（2）同一层的神经元之间没有连接。

（3）每个连接都有一个权值。

神经网络架构

图2-1就是一个神经网络系统，它由很多层组成。输入层负责接收信息，比如一只猫的图片。输出层显示计算机对这个输入信息的判断结果——它是不是猫。隐含层负责对输入信息的传递和加工处理。

2.1.3　各种常见算法图示

在日常使用机器学习的任务中，我们经常会遇见各种算法，图2-2是各种常见算法的图示。

2.1.4　计算图的导数计算

计算图（Computational Graph）的导数计算采用反向传播的方法，利用链式法则和隐式函数求导。

假设z=f（u,v）在点（u,v）处的偏导数连续，u和v是关于t的函数，在t点可导，求z在t点的导数。

根据链式法则有：

链式法则可以用文字描述：由两个函数凑起来的复合函数，其导数等于里边函数代入外边函数的值之导数，乘以里边函数的导数。

为了便于理解，下面举例说明：

则：

2.1.5　理解局部最优与全局最优

柏拉图有一天问老师苏格拉底，什么是爱情？苏格拉底叫他到麦田走一次，摘一株最大的麦穗回来，不许回头，只可摘一次。柏拉图空着手出来了，他的理由是，看见不错的，却不知道是不是最大的，一次次侥幸，走到尽头时，才发现还不如前面的，于是放弃。苏格拉底告诉他：“这就是爱情。”这个故事让我们明白了一个道理，因为生命的一些不确定性，所以全局最优解是很难寻找到的，或者说根本就不存在，我们应该设置一些限定条件，然后在这个范围内寻找最优解，也就是局部最优解——有所斩获总比空手而归强，哪怕这种斩获只是一次有趣的经历。

柏拉图有一天又问，什么是婚姻？苏格拉底叫他到树林走一次，选一棵最好的树做圣诞树，也是不许回头，只许选一次。这次他一身疲惫地拖了一棵看起来直挺、翠绿，却有点稀疏的杉树回来，他的理由是，有了上回的教训，好不容易看见一棵看似不错的，又发现时间、体力已经快不够用了，也不管是不是最好的，就拿回来了。苏格拉底告诉他：“这就是婚姻。”

可见，优化问题一般分为寻找局部最优解和全局最优解。寻找局部最优解，就是在函数值空间的一个有限区域内寻找最小值；而寻找全局最优解，就是在函数值空间整个区域内寻找最小值。函数局部最小点的函数值小于或等于附近点的值，但是有可能大于较远点的值。全局最小点的函数值小于或等于所有点的值。

2.1.6　大数据与深度学习之间的关系

首先来看大数据、机器学习及数据挖掘三者简单的定义。

大数据通常被定义为“超出常用软件工具捕获、管理和处理能力”的数据集。

机器学习关心的问题是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

数据挖掘是从数据中提取模式的特定算法的应用，在数据挖掘中，重点在于算法的应用，而不是算法本身。

数据挖掘是一个过程，在此过程中机器学习算法被用作提取数据集中潜在有价值模式的工具。

大数据与深度学习之间的关系如下。

（1）深度学习是一种模拟大脑的行为，可以从所学习对象的机制及行为等很多相关联的方面进行学习，模拟或实现人类行为及思维。

（2）深度学习对于大数据的发展有帮助。不管是数据的分析、挖掘还是建模，深度学习对于大数据技术开发的每一个阶段均有帮助。

（3）深度学习转变了解决问题的思维。很多时候从发现问题到解决问题，走一步看一步不是一个主要的解决问题的方式，在深度学习的基础上，我们从开始到最后都要基于一个目标，为了需要优化的那个最终目标去处理数据，以及将数据放入数据应用平台，这就是端到端。

（4）大数据的深度学习需要一个框架。在大数据方面的深度学习都是从基础的角度出发的，深度学习需要一个框架或者一个系统。总而言之，将你的大数据通过深度分析变为现实，这就是深度学习和大数据的最直接关系。