在中文 NLP 等论文中，应该如何翻译 token 这个词？ 第1页
1
zibuyu9 网友的相关建议:
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
1
相关话题
GAN的生成器是怎么产生图片的？魔鬼如何在最短时间内抓住天使？
TensorFlow 有哪些令人难以接受的地方？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
为什么多方安全计算（或者隐私计算/联邦学习）在中国这么火？
为什么做机器学习的很少使用假设检验？
请问刘知远老师提供的网易新闻标注数据集开源吗？
如果推出一款有「滤镜」功能的写作软件，修饰平庸的文字，会有市场吗？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
t-sne数据可视化算法的作用是啥？为了降维还是认识数据？
相关的话题
为什么我学过微积分、线性代数和概率论，还是看不懂机器学习？皮尔逊系数为什么要中心化？中心化之后有什么好处？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
神经网络的损失函数为什么是非凸的?
什么是反事实分析呀？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
所谓大数据分析，究竟要学什么？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
NLP现在就业是否没有前途?
为什么 Siri 听懂了我的话，还是不能做出有效的回答或准确的操作？
机器学习以及贝叶斯统计里，关于近似intractable integral，大家都偏爱什么算法？
人脑有海量的神经元（参数），那么人脑有没有「过拟合」行为？
如何评价Hinton组的新工作SimCLR?
机器学习包含哪些学习思想？
机器学习中非均衡数据集的处理方法？
nlp有哪些值得完整实现一遍的算法?
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何评价微软亚洲研究院提出的LightRNN？
有没有哪些人工的工作是无法被机器替代的？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
Linear least squares, Lasso,ridge regression有何本质区别？
什么是狄利克雷分布？狄利克雷过程又是什么？
年轻人为什么要做期货？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
人工智能被高估了吗？
人工智能技术会不会最终赶上微积分的历史地位？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
为什么说股票不能通过机器学习来预测？
可以对只有一个像素的图片拥有版权或著作权吗？为什么？
深度学习工作站中使用AMD的CPU会有问题吗？