如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
TensorFlow 有哪些令人难以接受的地方？如何对用户进行聚类分析？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
ICML2020有哪些值得关注的工作?
算法研究属于数学专业还是计算机专业？
卷积神经网络中卷积核是如何学习到特征的？
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
年轻人为什么要做期货？
能否训练一个AI模型来预测房价，寻找投资机会挖掘价值洼地？
卷积神经网络（CNN）的结构设计都有哪些思想？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
如何看待 NIPS 2018 submission达到近 5000 篇？GAN生成的数据没有标签怎么用来训练分类模型？
KL散度衡量的是两个概率分布的距离吗？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
如何看待 Daniel Povey 离开 JHU 后加入小米？
如何评价李飞飞和李佳加盟谷歌？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
人工智能 CV 岗位是不是现在供严重大于需？
如何简单理解贝叶斯决策理论（Bayes Decision Theory）？
人工智能被高估了吗？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
你实践中学到的最重要的机器学习经验是什么？
R 中的哪些命令或者包让你相见恨晚？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
为什么很少人用FFT加速CNN卷积层的运算？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
从应用的角度来看，深度学习怎样快速入门？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
Batch Normalization 训练的时候为什么不使用 moving statistics？
有没有值得推荐的随机森林 Random Forest教材？
如何评价Sony新出的深度学习库NNabla？
word2vec 相比之前的 Word Embedding 方法好在什么地方？
做中文 NLP 的时候，大家为啥不用拼音？
强化学习和自适应控制的关系是什么？
如何系统学习机器学习？
如何才能看得懂变分贝叶斯方法（Variational Bayesian）？
深度学习如何入门？