Discovering and Explaining the Representation Bottleneck of DNNs
Huiqi Deng*, Qihan Ren*, Hao Zhang, andQuanshi Zhang (Correspondence)
ICLR (Oral), 2022
ICLR 2022 Oral论文中得分排名前五的高分论文“发现并证明神经网络表征瓶颈”(得分10,8,8,8)
先上结论:我们从理论上证明了,任何神经网络往往容易建模极简单交互效应和极复杂的交互效应,但是不容易建模中等复杂度的交互效应——这是神经网络中普遍存在的表征瓶颈。
这是我们团队博弈交互可解释性理论体系中的一篇论文(其他论文见我知乎的其他文章)。这篇论文,邓辉琦和任启涵共同一作。邓辉琦是我新入职的博士后。她来我这里之前虽然论文不多而且没人关注,但我知道她之前的论文的质量已经让人惊叹了,那篇论文远不止顶会的分量,只是被论文写作功夫给坑到了一般的刊物。任启涵大四,是上海交大密歇根学院第一名的小牛。我们大家都很幸运,几个月前找到了一个很好的题目。当然,我们也有不幸的小伙伴,论文水平不遑多让,但是长期被definitely reject。这个圈子就是那么一回事,重在内心的欣赏,外在的成绩都是浮云,也就忽悠一些外行。
文章内容见下面。