列几个个人认为的新方向:
- 相对新的坑: Domain generalization (领域泛化),在DA的基础上更进一步,拿不到test data如何让模型更泛化?可以看我最新写的综述:
- 老问题、新办法:我们在尝试将元学习与domain adaptation结合起来,使DA不依赖于定义好的分布度量函数,而是自动地从数据中学习。看这两篇文章:
- 新的理论视角:与因果推断(causal inference)进行结合,统一地解决DA和DG问题:
与此同时,近几年出现了一些“新”DA setting,和已有的机器学习setting进行组合,方法上也方便直接进行A+B / A for B,技术难度普遍不高,实乃发文章利器。这些新setting包括但不局限于:
- Federated domain adaptation:与联邦学习结合,目前炙手可热的领域
- Continual / lifelong domain adaptation:与持续学习结合
- Online / incremental domain adaptation:与在线和增量学习结合
- Partial / open set / universal domain adaptation:开放集的领域自适应问题
- Self-supervised / contrastive domain adaptation: 与自监督学习的结合
- Few-shot domain adaptation: 与few-shot learning的结合
我们可以很轻松地将上述的setting再进行结合,做一个Federated continual partial self-supervised domain adaptation等工作,绝对没人做过,benchmark一片空白 :)
可以直接预测到即将出现的工作:
- Vision transformer-based domain adaptation: 与vision transformer结合
- Hierechical domain adaptation with vision Transformer: 最近大热的ViT
- 待续
总结:DA领域发展已有数十年,相关工作层出不穷。咋看之下,DA“已死”。但是,相信大家通过我们上面的分析,能够认识到此领域还有很多新的学术方向可以探索。
希望大家能够在老问题上勇于开拓新战场、勇于提出新问题;能在满足毕业和工作要求的基础上,做出好的工作来。