在中文 NLP 等论文中，应该如何翻译 token 这个词？ 第1页
1
zibuyu9 网友的相关建议:
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
1
相关话题
人工智能和自动控制能在一起擦出什么样的火花？如果用机器学习的理论来理解人的行为，会有什么发现？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
如何理解attention中的Q,K,V？
有谁给解释一下流形以及流形正则化？
什么是狄利克雷分布？狄利克雷过程又是什么？
机器学习在Web攻击方向有什么建树吗？
2021 年了，机器/深度学习还有哪些坑比较好挖？
CVPR 2019 有哪些值得关注的亮点？
god bless us 为什么百度翻译是辛巴？
相关的话题
机器学习到底是什么，如何使用这项技术？有多少个数学家叫 Kolmogorov ?
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何评价余凯创立的horizon robotics？
工作之后，顶会还重要吗？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
Resnet到底在解决一个什么问题呢？
机器学习在Web攻击方向有什么建树吗？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
有多少个数学家叫 Kolmogorov ?
广告算法工程师的核心竞争力是什么？
人工智能在发展到极高的程度之后能否算得上是一种生命？
如何系统学习机器学习？
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
国内目前的量化交易是否很少涉及到机器学习？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
神经网络，人工智能这块怎么入门？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
工程师简历写着「在微软传播性病」，骗过了 90% 公司的机器筛选，机器筛选简历那么不靠谱吗？
国内做NLP业务的香侬科技值得去吗？
Transformer是如何处理可变长度数据的？
为什么Transformer要用LayerNorm？
如何看待MXNet获得amazon官方支持首位？
为什么交叉熵（cross-entropy）可以用于计算代价？
NLP 方向在国内清北读博还是国外？
MPI 在大规模机器学习领域的前景如何？