如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？Python中 __init__的通俗解释是什么？
《失控玩家》中的游戏有可能实现出来吗？
当前（2020年）机器学习中有哪些研究方向特别的坑？
如何看待「机器学习不需要数学，很多算法封装好了，调个包就行」这种说法？
人工智能 CV 岗位是不是现在供严重大于需？
可以对只有一个像素的图片拥有版权或著作权吗？为什么？
目前工业界常用的推荐系统模型有哪些？
人是如何做黑盒优化的？
2020年，多标签学习（multi-label）有了哪些新的进展？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？怎样从机器学习模型中获取知识？
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？
为什么强大的 MXNet 一直火不起来？
迁移学习与fine-tuning有什么区别？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
2019年CVPR有哪些糟糕的论文?
深度学习如何入门？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
怎样让机器有意识?
为何总感觉人工智能和神经科学（神经网络）被绑在一起？
如何正确理解小概率事件，以及概率和哲学的关系？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
为什么强大的 MXNet 一直火不起来？
目标检测中的mAP是什么含义？
工程师简历写着「在微软传播性病」，骗过了 90% 公司的机器筛选，机器筛选简历那么不靠谱吗？
看完麻省理工博士胡渊鸣用代码实现「冰雪奇缘」后，自己陷入了深深的自卑，如何排解这种情绪？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
为什么计算注意力机制的时候不加偏置项？
AlphaGo「理解」围棋吗？
现在的BERT等语言模型，最快训练要多久？
卷积神经网络中卷积核是如何学习到特征的？
如何评价Kaiming He团队的MoCo v3？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
为什么Transformer要用LayerNorm？
为什么强大的 MXNet 一直火不起来？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
Python中 __init__的通俗解释是什么？
2021 年了，机器/深度学习还有哪些坑比较好挖？