如何看待 ICLR2021 的拒稿被评为 ACL2021 的 Best Paper? 第1页

感谢大家对此工作的关注，我是本工作的作者之一许晶晶，也是一名普通的自然语言处理圈内吃瓜人士，只是没想到这次吃到了自己的瓜orz。这里想跟大家简单分享以下我对这个问题的回答以及在这次投稿中我学到的经验和教训。

第一，我学到的最重要教训是一定要把东西写清楚。**尽管写作不是最重要的，但是写清楚是让评审评价工作的前提**。其实ICLR的评审和ACL的评委都对我们的Idea做了肯定，新颖性和有趣性都是被承认的，我们给出的基于最大边际效应的解释，和把词表学习建模成一个最优运输问题都是全新的一套想法。ICLR对idea没有太多问题，问题主要是在写作上，后来我们把写作改进之后，能拿到高分虽然意料之外，倒也在情理之中。有一说一，我们ICLR那篇工作确实写的不好。评审的反馈主要在以下几个方面：实验做的不够充分，方法介绍的不够清楚，动机也缺乏直接证据。后来的这几点，我们在ACL版本都做了大量的改进。我们补充了很多后续实验，写作也推倒重来，一遍遍推敲逻辑是否合理，实验是不是严谨和充分等等，整个过程是很痛苦的。所以后来我们得到ACL匿名评审的满分认可的时候非常激动，毕竟投入了很多心血的工作终于得到了回报。

第二，投稿不要太匆忙。我们当时工作做完之后，觉得还挺有趣的，为了赶上ICLR的截止日期，写的比较匆忙，存在各种问题，结果就被ICLR的审稿人教做人了。这次投稿之后我学到的一点是准备充分再投，不然会给评审带来不必要的压力以及被评审分分钟教做人。

第三，负面意见不是否定，而是进步的重要来源。其实有很多高分论文之前被拒的先例，比如最佳论文 Lottery Ticket假说，pre-training鼻祖ELMO，LayerNorm，KD等等。我这里举这些例子不是想说我们的工作可以和他们比肩（当然我们也想作出能够真正有用的工作，这些工作一直是我们的榜样），而是想让大家可以客观的看待这个问题。可能很多人会认为负面意见是对工作的否定，其实换个角度，负面意见也是让我们进步的重要力量～虽然这次被大家谈论压力很大，但是我们也很开心可以让大家思考负面意见这个问题。当大家的论文被拒的时候，想一想Hinton的论文都被拒过稿，是不是会变得更加自信一些!

第四： NLP会议的论文不一定比ML的会议论文差。有很多优秀的论文在NLP的会议上也拿到了很高的收益，比如BERT，ELMO等等。ML的会议上也有一些被遗忘的工作。最近确实各大会议的论文数量变得越来越多，有一些很拉垮的论文被录用，但是另一方面来看，好的paper也变的更多了。NLP的会议对NLP更关注，ML的会议对算法更关注。我们当时做的是词表问题研究，可能对于ML的人是个小问题，但是对于NLP领域来说，确实个每天都在用的东西，可能也会对我们工作更认可一些。我看下面也有些知友讨论应用领域的会议和ML会议谁更好的问题。我的看法是只要这个会议大部分人都还认可它是顶会，碰上哪个就投哪个，毕竟最后大家看的还是工作本身～优秀的工作发表在arxiv上也会发光发亮！

最后，打个小小的广告，我们这个工作研究了词表学习的问题，也发现了一些有意思的结论，我们打算近期把代码整理开源出来，欢迎大家到时候试用～某大佬说过研究是一个长周期的事情，无论短期拿到多少荣誉，重要的是做的东西能不能留下来。 我们也非常希望可以做出这种工作～

这次很荣幸能够听到大家的反馈，虽然是自己的瓜，但也吃的津津有味zzzzz。不过针对一些阴谋论的想法，这里还是有必要回复一下orz，以免给别人带来不必要的麻烦。不管未来这个工作是籍籍无名还是会被很多人用进benchmark，至少这次评审对我们的认可度还是不错的。我们这次拿了两个满分，一个接近满分，希望阴谋论不攻自破吧。

最后，如果大家有任何对该工作的问题和建议，或者对修改论文上的困惑，也欢迎加我微信号一起聊聊：xujingjingpku

最后辟谣一下另一篇关于NAS的问题，我们当时NAS的工作最早投了NeurIPS，投稿时间是2020年5月27号，没中后来投了ICLR，最近被接受。without training那篇放在arxiv 的时间是2020年6月8号，所以严格意义上来说是同期工作哈～

我是这个paper的作者之一，刚刚在公司的群里有同事把这个问题链接发给我，我震惊于居然有人这么关注我们的paper，手速这么快，非常感谢，代码还在整理中，整理完之后欢迎大家使用，希望大家都能尝试一下VOLT，肯定还是有很多不足的，也欢迎给我们多提意见。

首先祝贺一作 @许晶晶，非常不容易！！！

其次回答这个问题：关于从ICLR到ACL的转投，当时情况是这样的，我们在投ICLR的时候，花了太多时间在实验上，在writing上花的时间很不够，整个paper显地平铺直叙，Intuition没有说出来，且有部分重要的实验没有补充。结果大家也看到了，我觉得这是一个重要的lesson，也欢迎大家对比我们两个版本的论文。。。

Take Away：但行好事，莫问前程。还是应该好好地把手上工作360度全方位地做好，做扎实，而不是找到一个合适的ddl就去submit，现在arxiv这么方便，做到自己满意挂arxiv即可。

PS：为什么撤稿ICLR

这个问题问地不准确，我们当时其实是做了rebuttal的，ICLR的reviewer给了非常好的建议，我们很尊重也都吸收了。当时ACL有政策ICLR不在规定时间内撤稿不能投ACL，因为open review也违反ACL的规则。我们当时特地写信问了PC确认过，就撤稿了。不过后来ACL非常人性化地做了政策上的调整，这是后话了。

PSS：欢迎大家关注我们另外一篇被ICLR拒稿，然后也被ACL高分录用的paper：GLAT：Glancing Transformer for Non-Autoregressive Neural Machine Translation。当时ICLR submission在此：Non-iterative Parallel Text Generation via Glancing Transformer

GLAT这个paper也是很自信，也是有点RUSH，导致写地不好。实际上效果非常好，GLAT在我们字节跳动内部火山翻译已经上线了，Tiktok上的部分翻译流量就是GLAT serve的。数据越大，GLAT的效果越好，我们用GLAT参加了今年WMT翻译评测，大语种德语->英语（受限），以及英语->德语（非受限）的比赛中，GLAT在两个方向都拿了BLEU score的第一，充分说明并行（非自回归）生成模型未必比自回归模型差，甚至有可能更好，欢迎大家关注后续！

=======================

一眨眼就5个回答后的补充：我个人非常不同意上面的匿名回答”说明无论什么工作peer review就是摸彩票“，两次审稿的review质量都非常高，说review就是摸彩票的回答一看就是没有读过论文和review，有点不负责任且误导大众，使得一些junior的同学对投稿有错误的认知！希望稍微读一下论文。