在中文 NLP 等论文中，应该如何翻译 token 这个词？ 第1页
1
zibuyu9 网友的相关建议:
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
1
相关话题
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？Learning To Rank的pair wise方法如何得到全局排序结果呢？
目前的人工智能离可以自己给自己写代码编程还有多远？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
BERT可以用于文本聚类吗?
因果推断（causal inference）是回归（regression）问题的一种特例吗？
推荐算法岗是否存在严重人才过剩?
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
word2vec 相比之前的 Word Embedding 方法好在什么地方？
如果 2台 alphago 不断对战，是否会不断的强大？
相关的话题
未来五年，数据科学家（Data Scientist）的岗位需求会如何变化？如何评价Kaiming He团队的MoCo v3？
用 Python 进行数据分析，不懂 Python，求合适的 Python 书籍或资料推荐？
迁移学习与fine-tuning有什么区别？
什么是狄利克雷分布？狄利克雷过程又是什么？
做中文 NLP 的时候，大家为啥不用拼音？
双非小硕一枚 能否从事机器学习?
预训练模型的训练任务在 MLM 之外还有哪些有效方式？
大四年级，完全没接触过高数，目前对机器学习产生浓厚兴趣，该如何学习数学？
计算机视觉是否已经进入瓶颈期？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
如何通俗的解释交叉熵与相对熵？
ICLR 2022有哪些值得关注的投稿？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
计算机视觉是否已经进入瓶颈期？
算法工程师的落地能力具体指的是什么？
我决定进军期货市场，您有什么建议吗？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
物理专业的学生如何看待机器学习和大数据这些方向呢？
神经网络模型压缩好就业吗?
有哪些定理在高维情况下与三维情况下培养出来的直觉不符？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
多因子模型是否真的可以带来阿尔法（alpha）？
ICLR 2021 有什么值得关注的投稿？
如何评价李飞飞和李佳加盟谷歌？
深度学习（机器学习）的下一步如何发展？