文章题目

• 等待读的论文
• 1 Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation AAAI2021
• 2 Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations CVPR2020
• 3 Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation ICCV2019
• 4 Geodesic flow kernel for unsupervised domain adaptation
• 5 Maximum classifier discrepancy for unsupervised domain adaptation
• 6 Deep coral: Correlationalignment for deep domain adaptatio & return of frustratingly easy domain adaptation
• 7 Deep domain confusion: Maximizing for domain invariance
• 8 How transferable are features in deep neural network
• 9 Stochastic Classifiers for Unsupervised DomainAdaptation
• 10 Multi-representation adaptation network for cross-domain image classification[J]. Neural Networks, 2019, 119: 214-221
• 11Domain Conditioned Adaptation Network
• 12Transfer-ability vs. discriminability: Batch spectral penalization foradversarial domain adaptation

等待读的论文

1 MinimumClass Confusion for Versatile Domain Adaptation

1 Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation AAAI2021

网络湖面跟着两个分类器，C1 和 C2，对于同一个样本的预测概率，除了在真实样本的位置上的概率要大，其他的部分的概率最好是尽量要差异大写一些，这样的话可以保证两个分类器的输出存在较大差异。

2 Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations CVPR2020

对分类器的概率输出，使用了矩阵角度的考量，对其进行优化。从两个目的进行了优化，分别是：

判别性

所谓判别性，指的是预测类别的过程是否坚定。比如对于二类问题的响应

[0.9,0.1]判别性较高， [0.6,0.4]判别性较低。

常见的方法采用最小化熵来得到较高的判别性。我们发现矩阵A的F范数与熵有着相反的单调性，从而可以通过最大化A的F范数来提升判别性。
多样性
多样性可以近似表达为批量矩阵中预测的类别数量，即预测的类别数量多则响应多样性大。
考虑不同类别响应的线性相关性，如果两个响应属于不同类别，那么响应会差别较大线性无关，如果属于相同类别则近似线性相关。

[0.9,0.1]与[0.1,0.9]线性无关， [0.9,0.1]与[0.8,0.2]近似线性相关。

那么预测类别数也就是矩阵中最大的线性无关向量数，即矩阵的秩。

3 Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation ICCV2019

这篇文章的出发点是解决数据分布的差异性，但是却从二范数的角度进行的推理分析，将源域和目标域的特征的二范数规范的足够大，便能够解决迁移后的性能下降问题。文章的亮点是揭示了DA问题的本质是特征范数（文章自己说的），而不是从特征的整体分布上进行对其。文章为了让范数逐渐变大，采用了逐步增大特征范数的方法，而不是给范数设定了一个固定的值。

4 Geodesic flow kernel for unsupervised domain adaptation

GFK 这个论文，介绍了如何将源域特征映射到目标域，使用的方法是先寻找到一条测地线路径，然后将源域顺着这个路径光滑地走过来，用到了积分，而不是选定了几个点，分为几个步骤走过来。有提一个知乎的文章讲的很好：https://zhuanlan.zhihu.com/p/27782708

5 Maximum classifier discrepancy for unsupervised domain adaptation

这篇文章的思想还是没能很好地理解
这篇文章设置了两个不同的分类器，使用了对抗方法，在利用源域数据训练了generator和两个classifier的基础上，在使用target数据的时候，一方面是在固定genarator的基础上，更新两个分类器的参数，使得classifier 1和2对同一个目标样本的差异尽量的大，另一方面是在固定了两个分类器的情况下，更新generator，使得generator的输出能够使得两个分类器产生相同的输出。在衡量分类器的输出差异性上面，采用的是绝对值损失。
整个算法过程分为三步：
（A） 利用源域数据训练 G C1 C2
（B）对于一个target 样本的输入，固定G，更新C1 和C2， 目标是增大C1和C2 的输出之间的差异
（C）对于一个target 样本的输入，固定C1 和C2，更新G， 目标是减小C1和C2 的输出之间的差异

这个对抗过程，和将源域与目标域区相混淆的对抗生成很相似，只不过是之前的那种是为了使得G出来的特征源域和目标域是一致的，这篇文章的目的是使得G出来的特征还是没想好怎么解释，怎么理解

6 Deep coral: Correlationalignment for deep domain adaptatio & return of frustratingly easy domain adaptation

这两篇文章都是在协方差矩阵上，让源域特征和目标域特征进行对齐操作，这里面一个有意思的地方是如何计算协方差矩阵。

7 Deep domain confusion: Maximizing for domain invariance

这篇文章最先将MMD应用到DA领域，相当于开山鼻祖了。

8 How transferable are features in deep neural network

这篇文章是对网络结构的细致分析，说是在网络的前几层，基本上所有任务的参数都很相似，就是一个通用的参数，相当于一个过滤器，在网络后面的参数则是和特定任务和特定的训练集相关了。这篇文章探讨了从那一层开始，是从通用到特定任务的转换。
这个文章中涉及到了如何设置实验来验证哪些层是提取通用特征，那些层是特定于任务的。

9 Stochastic Classifiers for Unsupervised DomainAdaptation

这个文章是在MCD的基础上进行的讨论，说的是分类器越多，性能越好，那么可以设置无穷多个分类器吗？显然是不行的，因为参数量太大。那么本文就是提出了一个随机分类器的思想，之前的分类器是由一个个向量构成的，这篇文章中将分类器中的参数看成一个分布，在训练的过程中是对这个分布进行的优化。文中的思想，重点是在下面这段话。

10 Multi-representation adaptation network for cross-domain image classification[J]. Neural Networks, 2019, 119: 214-221

这篇文章在多个表征空间中进行域适应，不同于以往的只是针对一个样本的单个特征进行域适应，这个文章中会对一个样本提取多个特征，然后分别进行域适应，最后将所有的特征进行concat

11Domain Conditioned Adaptation Network

两点motivation
（1）在开始的几层，卷积层既要学习不同数据中的知识，也要学习domain-specific的知识
（2）在task-specifc 层中，将源域和目标域对齐
针对第一点，文章提出了DCAN，其实就是类似于基于channel的注意力机制，将每个通道进行GAP，然后将形成的向量通过FC层，最终将得到的向量和原来的特征MAP进行一个相乘
针对第二点，文章将task-specific层的特征又过了两个FC层，对于target数据而言，将经过两个FC得到的特征作为补偿特征与原始特征相加，相加后得到的特征再与src的特征进行MMD优化。此外，一个假设是当源域也经过该FC后得到的特征应当是不变的，为了保证这个不变性，文章抽取了子集与进行不变性的学习。

12Transfer-ability vs. discriminability: Batch spectral penalization foradversarial domain adaptation

这篇文章从奇异值的角度出发，提升域适应的性能。这篇文章提到了两个内容，分别是transferability和discriminability，也就是迁移能力和区分性能力。
文章得出的结论是将特征矩阵进行奇异值分解后，较大的奇异值是起到了保证transferability的能力，较小的奇异值保证了discriminability的能力，文章提出的将较大的一些奇异值进行正则化的方法，提升了域适应问题的表现性能。
文章的代码在这了：https://github.com/thuml/Batch-Spectral-Penalization

总结

以上是生活随笔为你收集整理的domain adaptation论文记录的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。