第3章
迁移学习基本问题

本章主要介绍迁移学习的基本问题。本章的主要目的是使读者对迁移学习中所研究的基本问题有一个全面清晰的了解，以便在遇到新问题时抓住问题本质，寻找对应的解决方案。

根据杨强教授《迁移学习》专著[Yang et al.，2020a]及综述文献[Pan and Yang，2010]的描述，迁移学习主要研究以下三个基本问题：

1. 何时迁移（When to transfer）。何时迁移，对应于迁移学习的可能性和使用迁移学习的原因。值得注意的是，此步骤应该发生在迁移学习过程的第一步。给定待学习的目标，我们首先要做的便是判断当时的任务是否适合进行迁移学习。

2. 何处迁移（What/Where to transfer）。判断当时的任务适合迁移学习之后，第二步要解决的便是从何处进行迁移。这里的何处，我们用What和Where来表达可能更好理解。What，指的是要迁移什么知识，这些知识可以是神经网络权值、特征变换矩阵、某些参数等；而Where指的是要从哪个地方进行迁移，这些地方可以是某个源域、某个神经元、某个随机森林里的树等。

3. 如何迁移（How to transfer）。这一步是绝大多数方法的着力点。给定待学习的源域和目标域，这一步则是要学习最优的迁移学习方法以达到最好的性能。

这三个基本问题贯穿整个迁移学习的生命周期。从目前的研究现状来看，何时迁移对应于一些理论、边界条件的证明，大多是一种理论上的保证。它使得我们在进行迁移时能够做到胸有成竹、有章可循。何处迁移则强调一个动态的迁移过程。在大数据时代，我们需要动态地从数据中学习出更适合迁移的领域、网络、分布等。最后，如何迁移，则旨在建立最优的迁移方法以顺利完成迁移。

另外，这三个基本问题并不是完全对立的，而是在在一定条件下可以互相转化。例如，何处迁移往往是随着数据表征动态变化的，而数据表征又与如何迁移有着紧密联系。在特定的数据表征下，这三个问题可以互相辅助，相辅相成。

对应于三个问题，本章的内容组织安排如下。3.1节介绍“何处迁移”，3.2节介绍“何时迁移”，3.3节介绍“如何迁移”。之后，我们在3.4节介绍负迁移的概念，并在3.5节给出一个完整的迁移学习过程。