如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
如何评价英伟达于 GTC 2021 大会发布的基于 ARM 架构的 Grace CPU？2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
因果推断会是下一个AI热潮吗？
如何判断两个Deep Learning 数据集的数据分布是否一致？
为什么计算注意力机制的时候不加偏置项？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
如何通俗的解释交叉熵与相对熵？
百度在深度学习上使用Xilinx FPGA?
自然语言处理怎么最快入门？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
Graph Attention Network的本质是什么？做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
三门问题(蒙提霍尔悖论)变种，如果主持人不知道哪个门是汽车随便蒙门打开正好是羊这时观众还需要换门吗？
如何简单理解贝叶斯决策理论（Bayes Decision Theory）？
计算统计学（Computational Statistics）有什么好的资源和教材以及学习方法推荐？
如何评价Google发布的第二代深度学习系统TensorFlow?
视觉Transformer如何优雅地避开位置编码？
神经网络为什么可以（理论上）拟合任何函数？
2021 年，深度学习方面取得了哪些关键性进展？
微软小冰测颜值是否比较准？为什么？
自学深度学习是怎样一种体验？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
为什么最近几年 FPGA 变得越发受大家重视了？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
是不是并不是所有问题都适合用神经网络预测？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
如何看待 Nervana 被 Intel 收购？
如何看待2021年哔哩哔哩拜年纪采用机器生成的假弹幕？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
魔鬼如何在最短时间内抓住天使？
如何评价余凯创立的horizon robotics？
应该选择TensorFlow还是Theano？
为什么在R语言里多用<-而不是=表示赋值？
为什么神经网络具有泛化能力？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
视觉算法的工业部署及落地方面的技术知识，怎么学？
机器学习中使用正则化来防止过拟合是什么原理？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？