如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？ 第1页

恭喜团队四篇论文被cvpr2020接收。尤其可贺的是成功地把我近期力推的AET用在了图模型和GAN网络的无监督自训练上，取得了突破性的进展。至此，我们的AET (Auto-Encoding Transformations) 已经形成了一个完整系列的系统工作，从图像分类、物体检测、图模型、GAN网络，并有了从信息论到李代数的一整套解释和理论。之后我们会开发一套完整的工具包方便大家使用和研究。

下面主要介绍下AET模型在图模型和GAN网络无监督训练上的突破。

图模型：GraphTER: Unsupervised learning of Graph Transformation Equivariant Representations via Auto-Encoding Node-wise Transformations [pdf]

这个方法是通过对Graph 中node进行全局或局部变换与扰动，并通过对node-wise transformations进行预测来实现GNN网络的self-training。学习得到的特征既可以是node-wise feature，也可以是对整个graph的feature。这种方法的思想是好的graph特征应当可以很好地对graph地链接与拓扑结构进行编码，进而能够从中提取出作用在graph拓扑结构上的各种变换。虽然我们在这篇文章中是以3D点云相应地graph为研究对象，但所用的自监督graph网络训练方法具有通用性，可以用在很多其他的graph 任务上。

GAN模型： Transformation GAN for unsupervised Image Synthesis and Representation Learning

这篇论文中，我们把AET 思想用来训练GAN模型。这里用AET对应的loss作为正则化项来更好的训练GAN中的discriminator。众所周知的是，GAN 中的discriminator训练极容易过拟合，而加入各种新的变换后，discriminator 网络可以更好的感知到在不同的变换下，真实样本和虚假样本之间的区别，进而可以更好的训练出更好的generator网络。传统的数据增强需要假设变换后的样本仍然具有高度的真实性。但大强度的变换往往会引入各种distortion，使得一个真实的图像变得扭曲而不再真实。通过AET loss，我们不再直接把变换后的图像作为正例来训练discriminator，而仅仅通过预测transformation本身来对discrminator的训练进行正则化。这种方法，可以使用更大范围地变换，进而获得更好地性能。

附上AET 的原创论文：AET vs. AED: Unsupervised Representation Learning by Auto-Encoding Transformations rather than Data [pdf]

以及期刊版本： Learning Generalized Transformation Equivariant Representations via Autoencoding Transformations [pdf] （这个版本包含更多结果）

有希望了解更多AET内容的同学，可以参看我另外一个回答

我同时计划用一个系列八篇文章来比较系统的介绍下以AET为代表的研究变换对称性的模型从无监督、半监督到全监督各个层面所起到的重要作用，有兴趣的同学可以收藏和专注下这个系列，目前刚更新了第一期。

简单来说，AET 是通过对变换本身进行自编码实现自监督学习(self-supervised)的一种通用方法和架构。在最近一些无监督或自监督的方法中，我们注意到各种变换(transformations)在其中起到的核心作用，这其中包括了Hinton自己公布的新方法SimpleCLR。基于contrastive loss的方法其实还是在间接的使用transformation来获得单个样本的多个copy，而我们提出的AET是一种更加直接地利用对变换本身的预测来实现无监督学习地方法。

我们目前在物体检测任务上已经可以beat全监督学习到的模型。下一步我们会在我的团队github主页上陆陆续续放出更多的结果与代码，欢迎大家关注

同时，也欢迎大家关注我的知乎账号

与我的专栏