GAN 真的创造了新的信息吗？ 第1页

如果说艺术源于生活

那么

艺术真的创造了新的信息吗？

一个多月前在AAAI2019听Goodfellow的invited talk，他当时说的一句话，翻译成中文大意是

很多人认为GAN在数据科学中的一个应用是数据增强，他们认为通过用已有的数据来训练GAN，可以创造出更多的数据，从而解决数据缺乏问题――据我所知这种方法从未奏效过 (As far as I know this never works in practice)

在我印象里ICLR2018就有人质疑过GAN是否能够真正意义上生成新的数据，当时作者罗列出的一系列实验结果表明结论是否定的

补两句我个人的看法，题主的问题是【GAN真的创造了新的信息吗】，仔细考虑下会发现这并不是一个良好定义的问题，因为如何算【创造了新的信息】是定义不清晰的。实际上我认为，在图像任务上通过人类肉眼观察是否出现了一些新的纹理特征一类的定义方式并不能为这个问题本身带来新的insight。这里可以稍微开一些脑洞，如果真实的样本集合是 ，生成的样本集合是 ，那么可以有这么几种定义方式：

• 思路一：entropy，如果 称之为【创造了新的信息】，然而GAN学习的分布是隐式的，这个entropy压根算不出来
• 思路二：truly Bayesian，若我们有一个机器学习模型 来对数据进行拟合，其中 ，我们可以用信息增益 (Information Gain) 来衡量【创造了新的信息】这一事件的程度，严格定义的信息增益形式为 ，若算出来 大于一个事先设定的常数，则认为【创造了新的特征】。问题在于，这个严格定义的information gain是没有办法做exact inference的，只能用变分下界之类的办法来算，处理起来也是相当麻烦
• 思路三：empirical evaluation，找一个baseline模型，分别在 与 两个数据集上进行训练，比较performance，这种做法没有任何理论保障，很难说baseline模型的选取是否对实验的最终结果带来了决定性影响。对于这种思路，我认为如果不在大量的baseline模型上进行测试并报告显著性，得到的结论是没有意义的。

最后谢邀，之后有空回来补references吧