在中文 NLP 等论文中，应该如何翻译 token 这个词？ 第1页
1
zibuyu9 网友的相关建议:
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
1
相关话题
欧洲有哪些统计机器学习比较强的大学或者研究院的？？2020年，多标签学习（multi-label）有了哪些新的进展？
当初的生物热，和如今的全民CS全民AI，让你想到了什么？
新手如何入门pytorch？
这一波人工智能泡沫将会怎么破灭？
机器学习领域是否已经达到饱和？
机器学习系统MLSys中有哪些比较有前途的研究方向？
欧洲有哪些统计机器学习比较强的大学或者研究院的？？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
为什么dropout正则化经常在视觉方面使用而不是其他？
相关的话题
主动学习(Active learning)算法的原理是什么，有哪些比较具体的应用？从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
图像处理和机器学习有什么关系？
如何看待比 iPad 还大的史上最大芯片问世？ 功耗比电磁炉还高有什么用？
UCLA 的朱松纯教授是一个什么样的人？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
985工科研一觉得快要退学了怎么办？
高斯过程的kernel构成的矩阵为何叫协方差矩阵而不是相关系数矩阵？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
caffe开发过程中使用了哪些工具？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
人类大脑的聪慧程度以 IQ 为标准，那么人工智能的水平用什么指标来衡量呢？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
数据挖掘与数据分析的主要区别是什么？
EM算法存在的意义是什么？
你见过最差的算法工程师能差到什么程度？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
计算统计学（Computational Statistics）有什么好的资源和教材以及学习方法推荐？
AI领域的灌水之风如何破局？
UCLA 的朱松纯教授是一个什么样的人？
为什么ViT里的image patch要设计成不重叠？
自然语言处理是计算机实现通用人工智能的最难挑战吗？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
如何理解attention中的Q,K,V？
单bert可以用来做文本相似度计算任务吗？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
深度学习方面还有什么Open Problem?
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
KL散度衡量的是两个概率分布的距离吗？