如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
如何评价 BERT 模型？Transformer是如何处理可变长度数据的？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
ICML2020有哪些值得关注的工作?
cygwin和mingw选哪个？
Resnet到底在解决一个什么问题呢？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
有哪些定理在高维情况下与三维情况下培养出来的直觉不符？如何理解深度学习中的deconvolution networks？
有哪些关于机器学习的真相还鲜为人知？
在与 AlphaGo（包括 Master） 的对局中是否出现了一些人类历史上从未想到过的着法、技巧？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
新手如何入门pytorch？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
如何系统学习机器学习？
graph convolutional network有什么比较好的应用task？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
为什么国家将加快人工智能研究生培养？又为什么很多研究生评论人工智能是个大坑呢？
目前有哪些比较成功的人工智能应用？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
如何看待Capsule Network在NLP领域的潜力？
深度学习中，模型大了好还是小了好呢？
如何看待NVIDIA 即将开源的DLA？
正负样本极不平衡的问题？
wav2vec中的30ms是怎么得来的?
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
如何理解attention中的Q,K,V？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
如何评价 On Unifying Deep Generative Models 这篇 paper?
如何看待在某度搜不到megengine官网？
隐马尔可夫模型在金融领域应用前景如何？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
上学和读书有什么区别?
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
年轻人为什么要做期货？