在中文 NLP 等论文中，应该如何翻译 token 这个词？ 第1页
1
zibuyu9 网友的相关建议:
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
1
相关话题
学习机器学习应该看哪些书籍？人工智能顶会的best paper，后来都怎么样了？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
Deep Learning 的专家如此急缺，它难在何处？
机器学习中的优化理论，需要学习哪些资料才能看懂？
如何评价英伟达于 GTC 2021 大会发布的基于 ARM 架构的 Grace CPU？
attention跟一维卷积的区别是啥？
如何评价谷歌刚推出的Cloud AutoML？
如何评价陈天奇团队新开源的TVM？
机器学习在Web攻击方向有什么建树吗？
相关的话题
NLP领域，你推荐哪些综述性的文章？为什么多方安全计算（或者隐私计算/联邦学习）在中国这么火？
机器学习初学者该如何选读适合自己水平的论文？
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
为什么nlp没有像cv四小龙一样的创业公司？
机器学习中的PR曲线一定会过（1，0）这个点吗？
2021 年各家大厂的 AI Lab 现状如何？
如何证明对任意给定的正数e，存在M上的矩阵范数||A||，满足不等式||A||<=谱半径+e?
如何评价 2015 版的 Magi 搜索引擎？
人工智能技术会不会最终赶上微积分的历史地位？
如何看待多所 985 大学开设人工智能专业？
机器学习中的PR曲线一定会过（1，0）这个点吗？
为什么现在有这么多人工智能无用论？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
机器学习领域是否已经达到饱和？
实验室一块GPU都没有怎么做深度学习？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
默写很花时间怎么办？
图像处理和机器学习有什么关系？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
如何评价第一局比赛 AlphaGo 战胜李世石？
DeepMind 团队中有哪些厉害的人物和技术积累？
为什么在实际的kaggle比赛中，GBDT和Random Forest效果非常好？
Jacobian矩阵和Hessian矩阵的作用是什么？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
广告算法工程师的核心竞争力是什么？
机器通过主动学习能为人类生活带来怎样的改变？