域适应（Domain adaptation）

定义

　　在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种 特殊 的迁移学习 叫做域适应 （Domain Adaptation）。

Domain adaptation有哪些实现手段呢？

　　几乎所有的手段都尝试去学习一个特征转换，使得在转换过后的特征空间上，source dataset和target dataset分布的区分度达到最小。现实世界当中这个问题又分为不同的类型：1）边缘分布相同，条件分布不同且相关2）边缘分布不同且相关，条件分布相同3）边缘分布和条件分布都不同且相关。
　　下边就稍微介绍一下边缘分布，条件分布:所谓边缘分布就是数据在特征空间当中的分布，如果你不理解特征空间这个词，把它理解为数据分布就好。可能还会有人问现实当中数据分布很抽象，你怎么知道几万张图片，它们的分布是怎样的？这个问题是初入坑必须要搞明白的，衡量图像我们也是通过特征（例如，haar特征，梯度，颜色直方图等等），将图像特征量化成数字，分布就能看出来了，所以记住我们讨论分布的前提是我们已经确定用哪种特征来衡量数据。同样条件分布就是某个确定样本的分类概率分布了，如果是二分类问题，那么此条件分布就看作一个伯努利分布，其他情况以此类推。

Domain adaptation中的学习策略

　　Instance reweighting和subspace learning是Domain adaptation中两种经典的学习策略，前者对source data每一个样本加权，学习一组权使得分布差异最小化，后者则是转换到一个新的共享样本空间上，使得两者的分布相匹配。另外比较重要的的一点是，实际训练当中，“最小化分布差异”这个约束条件是放在目标函数中和最小化误差一起优化的，而不是单独优化。