2.5　迁移学习的问题定义

有了领域的定义，就可以对迁移学习进行形式化定义。

定义3　给定一个源域和目标域，其中。迁移学习的目标是当以下三种情形：

1. 特征空间不同，即；

2. 标签空间不同，即；

3. 特征和类别空间均相同、概率分布不同，即Ps（x，y）≠Pt（x，y），

至少有一种成立时，利用源域数据去学习一个目标域上的预测函数，使得f在目标域上拥有最小的预测误差（用ϵ来衡量）：

具体而言，特征空间不同，即，特指两个领域包含了不同的特征或不同的特征维数。例如，当源域为RGB彩色图像、目标域为黑白二值图像时，我们就说它们的特征空间不同；标签空间不同，即，特指两个领域的任务空间不同，例如，在分类问题中，源域和目标域的类别不完全相同；概率分布不同，即Ps（x，y）≠Pt（x，y），特指即使两个领域的特征空间和类别空间都相同，其联合概率分布也会存在不匹配的问题。

上述几种情形不尽相同，每种都对应了大量的研究工作。由于这些情形背后所采用的核心方法均存在一定的相似性，因此，本书在余下的主体部分介绍迁移学习核心方法时不针对每种情形一一介绍，而是以领域自适应（Domain Adaptation）这一热门研究方向为研究主题来进行讲解。领域自适应对应了上述定义中前2种情形均相同、第3种情形不同的情况，也是本书主要讲解的研究方向。领域自适应问题中的大部分方法均可以推广到其余几种情形中，我们将在第11章到第14章中进行描述。

领域自适应的问题定义如下。

定义4　给定一个有标记的源域和一个目标域，领域自适应的目标是当特征空间和类别空间均相同即但联合概率分布不同即Ps（x，y）≠Pt（x，y）时，利用源域数据去学习一个目标域上的预测函数，使得f在目标域上拥有最小的预测误差（用ϵ来衡量）：

根据本书1.4节的迁移学习分类方法，根据目标域数据是否有标签，领域自适应可以被分为以下三种情形：

1. 监督领域自适应（Supervised Domain Adaptation，SDA），即目标域数据全部有标签的情形；

2. 半监督领域自适应（Semi-supervised Domain Adaptation，SSDA），即目标域数据有部分标签的情形，其中Ntu和Ntl分别为无标签和有标签的目标域数据个数）；

3. 无监督领域自适应（Unsupervised Domain Adaptation，UDA），即目标域数据完全没有标签的情形。

显然，无监督领域自适应是三种情形中最难的一种。因此，本书重点以无监督领域自适应问题为切入点介绍此种情形下的迁移学习方法。这些方法绝大多数均可以很简单地被应用于有监督和半监督的问题中。特别地，当多个任务同时进行学习（均有一定数量的数据标注）时，多任务学习（Multi-task learning）是可以直接采用的方式。本书并不打算详细介绍多任务学习，感兴趣的读者请参考相关的文献[Yang et al.，2020a]。

在实际的研究和应用中，读者可以针对自己的不同任务，结合上述表述，灵活地给出相关的形式化定义。

[1]为与随机变量x区分，此处用花体。

[2]注意，本书对领域的定义与[Pan and Yang，2010]和[Yang et al.，2020a]中的定义有所不同：后者将领域定义为，并单独将任务定义为。由于本书侧重介绍领域自适应，因此从自然的数据生成角度（（x，y）~P（x，y））给出的领域定义包含了联合概率分布。读者可以发现这两种定义的本质内容是一样的，仅形式稍有不同。