如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
《失控玩家》中的游戏有可能实现出来吗？准研一，导师NLP方向，导师接下了一个项目让我跟着手工标数据，请问是不是在PUA我?
CVPR 2019 有哪些值得关注的亮点？
神经网络的损失函数为什么是非凸的?
如何评价 MLSys 这个会议？
时间序列数据上可以抽取哪些频域特征？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
如何评价MXNet发布的1.0版本？
你实践中学到的最重要的机器学习经验是什么？
隐马尔可夫模型在金融领域应用前景如何？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
实验室一块GPU都没有怎么做深度学习？深度学习调参有哪些技巧？
如何理解空洞卷积（dilated convolution）？
目前有哪些比较成功的人工智能应用？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
深度学习领域有哪些瓶颈？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
深度学习图像处理什么时候用到GPU？
如何看待西安电子科技大学偷偷给贫困生打钱，大数据精准帮助贫困生是否值得推广？
如何看待 Google TPU？寒武纪芯片较之有哪些优势与不足？
基于大数据的个人信用体系有没有可能被滥用？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
目前的人工智能离可以自己给自己写代码编程还有多远？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
计算机技术的进步与模拟运算，在未来真的可以解决磁约束核聚变技术中所有关键问题吗？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
GAN 真的创造了新的信息吗？
有没有值得推荐的随机森林 Random Forest教材？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
为什么现在有这么多人工智能无用论？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
搞机器学习的生环化材是天坑吗？
如何评价深度学习之父Hinton发布的Capsule论文？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
有哪些深度学习效果不如传统方法的经典案例？
为什么计算注意力机制的时候不加偏置项？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
word2vec有什么应用？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？