如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
如何评价微软亚洲研究院提出的LightRNN？nlp有哪些值得完整实现一遍的算法?
北京深鉴科技基于FPGA平台的DPU架构如何？
如何看待 Nervana 被 Intel 收购？
GAN生成的数据没有标签怎么用来训练分类模型？
是不是机器学习的框架都偏向 Python ？如果是，为什么？
使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法，两者分别有什么优缺点？
算法工程师的落地能力具体指的是什么？
机器学习中有哪些形式简单却很巧妙的idea？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？nlp有哪些值得完整实现一遍的算法?
如何看待周志华等人的新书《机器学习理论导引》？
BERT模型可以使用无监督的方法做文本相似度任务吗？
凸分析和凸优化有什么推荐的教材吗？
如何评价微软亚洲研究院提出的LightRNN？
为什么 Google 翻译只重算法不重语言学的语法结构和规则？
多模态方面，有哪些牛组值得我们follow他们的工作？
年轻人为什么要做期货？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
机器学习中的优化理论，需要学习哪些资料才能看懂？
机器学习能否用于综合评价？具体怎么操作？
金融学及金融从业者如何应对人工智能和大数据？
NLP领域，你推荐哪些综述性的文章？
如何理解深度学习源码里经常出现的logits？
人工智能在发展到极高的程度之后能否算得上是一种生命？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
如何评价MXNet发布的1.0版本？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？
如何证明对任意给定的正数e，存在M上的矩阵范数||A||，满足不等式||A||<=谱半径+e?
相比于时下流行的机器学习方法（联接主义），传统的人工智能方法（符号主义）有什么独一无二的优势？
高斯过程的kernel构成的矩阵为何叫协方差矩阵而不是相关系数矩阵？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
机器学习里面的流形都是怎么用的？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？