2.4　概率论基础

概率论是对不确定性的研究，概率论的数学理论非常复杂，本节提供了概率的一些基本理论，以便进行后续的机器学习，但是不会涉及更多复杂的细节，读者如有需求，请参考相关教材。

2.4.1　基本概念和符号

为了定义集合上的概率，需要掌握下面的基本概念。

样本空间Ω：随机实验的所有结果的集合。在这里，每个结果w∈Ω可以被认为是实验结束时现实世界状态的完整描述。

事件集（事件空间）：元素的集合（称为事件）是Ω的子集（即每个A⊆Ω是一个实验可能结果的集合）。

备注：需要满足以下3个条件：

（1）。

（2）。

（3）。

概率度量P：函数P是一个的映射，满足以下性质：

◆　对于每个，P(A)≥0。

◆　P(Ω)=1。

◆　如果A1,A2,…是互不相交的事件（即当i≠j时，），那么：

假设B是一个概率非0的事件，定义在给定B的条件下A的条件概率为：

换句话说，P(A|B)是度量已经观测到B事件发生的情况下A事件发生的概率，两个事件被称为独立事件当且仅当P(A∩B)=P(A)P(B)（或等价地，P(A|B)=P(A)）。因此，独立性相当于是说观察到事件B对于事件A的概率没有任何影响。

2.4.2　随机变量

考虑一个实验，翻转10枚硬币，想知道正面硬币的数量。这里，样本空间Ω的元素是长度为10的序列。例如，可能有w0={H,H,T,H,T,H,H,T,T,T}∈Ω。

然而，在实践中，通常不关心获得任何特定正反序列的概率。相反，通常关心结果的实值函数，比如10次投掷中出现的正面数，在某些技术条件下，这些函数被称为随机变量。

1．累积分布函数

为了指定处理随机变量时使用的概率度量，通常可以方便地指定替代函数（CDF、PDF和PMF），下面将依次描述这些类型的函数。

累积分布函数（CDF）是函数，它将概率度量指定为：

性质：

0≤FX(x)≤1。

。

。

x≤y⇒FX(x)≤FX(y)。

2．概率质量函数

当随机变量X取有限种可能值（即X是离散随机变量）时，表示与随机变量相关联的概率的更简单的方法是直接指定随机变量可以假设的每个值的概率。特别是，概率质量函数（PMF）是函数，这样：

在离散随机变量的情况下，使用符号Val(X)表示随机变量X假设的一组可能值。例如，X(ω)是一个随机变量，表示10次投掷硬币中的正面数，那么Val(X)={0,1,2,…,10}。

性质：

0≤pX(x)≤1。

。

。

3．概率密度函数

对于一些连续随机变量，累积分布函数FX(x)处可微。在这些情况下，将概率密度函数（PDF）定义为累积分布函数的导数，即：

注意，连续随机变量的概率密度函数可能并不总是存在的（即它不是处处可微的）。

根据微分的性质，对于很小的△x，有

P(x≤X≤x+△x)≈fX(x)△x

当CDF和PDF存在时，都可用于计算不同事件的概率。需要强调的是，任意给定点的概率密度函数（PDF）的值不是该事件的概率，即fX(x)≠P(X=x)。例如，fX(x)可以取大于1的值（但是fX(x)在的任何子集上的积分最多为1）。

性质：

fX(x)≥0。

。

。

4．期望

假设X是一个离散随机变量，其PMF为pX(x)，是一个任意函数。在这种情况下，g(X)可以被视为随机变量，将g(X)的期望值定义为：

如果X是一个连续的随机变量，其PDF为fX(x)，那么g(X)的期望值被定义为：

直觉上，g(X)的期望值可以被认为是g(x)对于不同的x值可以取的值的“加权平均值”，其中权重由pX(x)或fX(x)给出。作为上述情况的特例，请注意，随机变量本身的期望值是通过令g(x)=x得到的，这也被称为随机变量的平均值。

性质：

对于任意常数，E[a]=a。

对于任意常数，E[af(X)]=aE[f(X)]。

线性期望：E[f(X)+g(X)]=E[f(X)]+E[g(X)]。

对于一个离散随机变量X，E[1{X=k}]=P(X=k)。

5．方差

随机变量X的方差是随机变量X的分布围绕其平均值集中程度的度量。形式上，随机变量X的方差定义为：

使用上一节中的性质，可以导出方差的替代表达式：

其中第二个等式来自期望的线性，以及E[X]相对于外层期望实际上是常数的事实。

性质：

对于任意常数，Val[a]=0。

对于任意常数，Var[af(X)]=a2Var[f(X)]。

举例：计算均匀随机变量X的平均值和方差，任意x∈[0,1]，其PDF为pX(x)=1，其他地方为0。

举例：假设对于一些子集A⊆Ω，有g(x)=1{x∈A}，试计算E[g(X)]。

（1）离散情况：

（2）连续情况：

2.4.3　两个随机变量

到目前为止，已经学习了单个随机变量。然而，在许多情况下，在随机实验中，可能有不止一个感兴趣的量。在本小节中，考虑两个随机变量的情况。

1．联合分布和边缘分布

假设有两个随机变量，一个方法是分别考虑它们。如果这样做，只需要FX(x)和FY(y)。但是如果想知道在随机实验的结果中，X和Y同时假设的值，需要一个更复杂的结构，称为X和Y的联合累积分布函数，定义如下：

FXY(x,y)=P(X≤x,Y≤y)

可以证明，通过了解联合累积分布函数，可以计算出任何涉及X和Y的事件的概率。

联合CDF：FXY(x,y)和每个变量的联合分布函数FX(x)和FY(y)分别由下式关联：

这里称FX(x)和FY(y)为FXY(x,y)的边缘累积概率分布函数。

性质：

0≤FXY(x,y)≤1。

。

。

。

2．联合概率和边缘概率质量函数

如果X和Y是离散随机变量，那么联合概率质量函数由下式定义：

pXY(x,y)=P(X=x,Y=y)

这里，对于任意x,y，0≤PXY(x,y)≤1，并且。

两个变量上的联合PMF分别与每个变量的概率质量函数有什么关系？事实上：

pY(y)与之类似。在这种情况下，称pX(x)为X的边际概率质量函数。在统计学中，将一个变量相加形成另一个变量的边缘分布的过程通常称为“边缘化”。

3．联合概率和边缘概率密度函数

假设X和Y是两个连续的随机变量，具有联合分布函数FXY。在FXY(x,y)在x和y中处处可微的情况下，可以定义联合概率密度函数：

如同在一维情况下，fXY(x,y)≠P(X=x,Y=y)，而是：

请注意，概率密度函数fXY(x,y)的值总是非负的，但它们可能大于1。尽管如此，可以肯定的是。

与离散情况相似，定义：

作为X的边际概率密度函数（或边际密度），fY(y)也与之类似。

4．条件概率分布

条件分布试图回答这样一个问题，当知道X必须取某个值x时，Y上的概率分布是什么？在离散情况下，给定Y的条件概率质量函数是简单的：

假设分母不等于0。

在连续的情况下，在技术上要复杂一点，因为连续随机变量的概率等于零。忽略这一技术点，通过类比离散情况，简单地定义给定X=x的条件概率密度为：

假设分母不等于0。

5．贝叶斯定理

当试图通过推导一个变量给定另一个变量的条件概率表达式时，多采用贝叶斯定理。

对于离散随机变量X和Y：

对于连续随机变量X和Y：

6．独立性

如果对于X和Y的所有值，FXY(x,y)=FX(x)FY(y)，则两个随机变量X和Y是独立的。等价于：

对于离散随机变量，对于任意x∈Val(X)，y∈Val(Y)，pXY(x,y)=pX(x)pY(y)。

对于离散随机变量，对于任意y∈Val(Y)且pX(x)≠0，pY|X(y|x)=pY(y)。

对于连续随机变量，对于任意x,，fXY(x,y)=fX(x)fY(y)。

对于连续随机变量，当fX(x)≠0时，对于任意，fY|X(y|x)=fY(y)。

非正式地说，如果“知道”一个变量的值永远不会对另一个变量的条件概率分布有任何影响，那么两个随机变量X和Y是独立的，也就是说，只要知道f(x)和f(y)，就知道关于这对变量(X,Y)的所有信息。下面将这一观察形式化。

如果X和Y是独立的，那么对于任何，有：

P(X∈A,Y∈B)=P(X∈A)P(Y∈B)

利用上述结论，可以证明如果X与Y无关，那么X的任何函数也与Y的任何函数无关。

7．期望和方差

假设有两个离散的随机变量X和Y，并且g:R2→R是这两个随机变量的函数，那么g的期望值以如下方式定义：

对于连续随机变量X和Y，类似的表达式是：

可以用期望的概念来研究两个随机变量之间的关系。两个随机变量的协方差定义为：

使用类似于方差的推导，可以将它重写为：

在这里，说明两种协方差形式相等的关键步骤是第三个等号，在这里使用了这样一个事实，即E[X]和E[Y]实际上是常数，可以被提出来。当Cov[X,Y]=0时，X和Y不相关。

性质：

（期望线性）E[f(X,Y)+g(X,Y)]=E[f(X,Y)]+E[g(X,Y)]。

Var[X+Y]=Var[X]+Var[Y]+2Cov[X,Y]。

如果X和Y相互独立，那么Cov[X,Y]=0。

如果X和Y相互独立，那么E[f(X)g(Y)]=E[f(X)]E[g(Y)]。

2.4.4　多个随机变量

前面介绍的概念和想法可以推广到两个以上的随机变量。

1．基本性质

可以定义X1,X2,…,Xn的联合累积分布函数、联合概率密度函数，以及给定X2,…,Xn时X1的边缘概率密度函数为：

为了计算事件的概率，有：

从多个随机变量的条件概率的定义中，可以看出：

独立性：对于多个事件A1,…,Ak，如果A1,…,Ak是相互独立的，对于任何子集S⊆{1,2,…,k}，则有：

同样，如果定义随机变量X1,X2,…,Xn是独立的，则：

f(x1,…,xn)=f(x1)f(x2)…f(xn)

这里，相互独立性的定义只是两个随机变量的独立性到多个随机变量的自然推广。

独立随机变量经常出现在机器学习算法中，其中假设属于训练集的训练样本代表来自某个未知概率分布的独立样本。

为了明确独立性的重要性，考虑一个“坏的”训练集，首先从某个未知分布中抽取一个训练样本(x(1),y(1))，然后将完全相同的训练样本的m-1个副本添加到训练集中。在这种情况下，则：

尽管训练集的大小为m，但这些例子并不独立。虽然这里描述的过程显然不是为机器学习算法建立训练集的明智方法，但是事实证明，在实域中，样本的不独立性确实经常出现，并且它具有减小训练集的“有效大小”的效果。

2．随机向量

假设有n个随机变量。当把所有随机变量放在一起工作时，经常会发现把它们放在一个向量中很方便，通常称结果向量为随机向量（更正式地说，随机向量是从Ω到的映射）。

注意，随机向量只是处理n个随机变量的一种替代符号，因此联合概率密度函数和综合密度函数的概念也将适用于随机向量。

期望：考虑中的任意函数，则该函数的期望值被定义为：

其中，是从-∞到∞的n个连续积分。如果g是从到的函数，那么g的期望值是输出向量的元素期望值。即，如果g是：

则：

协方差矩阵：对于给定的随机向量，其协方差矩阵∑是nn平方矩阵，其输入由给出。从协方差的定义来看，则：

其中矩阵期望以明显的方式定义。协方差矩阵有许多有用的属性：

∑≥0：也就是说，∑是正半定的。

∑=∑T：也就是说，∑是对称的。

3．多元高斯分布

随机向量上概率分布的一个特别重要的例子叫作多元高斯或多元正态分布。随机向量被认为具有多元正态（或高斯）分布，当其具有均值和协方差矩阵（其中指对称正定n×n矩阵的空间）时：

把它写成。请注意，在n=1的情况下，它降维成普通正态分布，其中均值参数为μ1，方差为∑11。

一般来说，高斯随机变量在机器学习和统计中非常有用，主要有两个原因：

首先，在统计算法中对“噪声”建模时，高斯随机变量非常常见。通常，噪声可以被认为是影响测量过程的大量且小的独立随机扰动的累积；根据中心极限定理，独立随机变量的总和将趋向于“看起来像高斯分布”。

其次，高斯随机变量便于许多分析操作，这是因为实际中出现的许多涉及高斯分布的积分都有简单的封闭形式解。