在中文 NLP 等论文中，应该如何翻译 token 这个词？ 第1页
1
zibuyu9 网友的相关建议:
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
1
相关话题
如何用自然语言处理判断一句话是否符合中文口语习惯？在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
AI 都学会看论文了，科研工作者会被淘汰么？
为什么交叉熵（cross-entropy）可以用于计算代价？
如何看待字节跳动 AI 实验室总监李磊入职 UCSB？
为什么梯度下降能找到最小值？
请解释下variational inference？
为什么做stacking之后，准确率反而降低了？
如何评价Google发布的第二代深度学习系统TensorFlow?
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
相关的话题
如何对用户进行聚类分析？目前有哪些比较成功的人工智能应用？
加州大学伯克利分校为何能连续孵化出 Mesos,Spark,Alluxio,Ray 等重量级开源项目?
2021 年了，机器/深度学习还有哪些坑比较好挖？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
二次型的意义是什么？有什么应用？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
人脸识别哪家强？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
为什么 Siri 听懂了我的话，还是不能做出有效的回答或准确的操作？
单bert可以用来做文本相似度计算任务吗？
为什么 Non-Convex Optimization 受到了越来越大的关注？
如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper？
如何理解 inductive learning 与 transductive learning?
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
当初的生物热，和如今的全民CS全民AI，让你想到了什么？
wasserstein 距离的问题?
主动学习(Active learning)算法的原理是什么，有哪些比较具体的应用？
多模态方面，有哪些牛组值得我们follow他们的工作？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
神经网络分类训练后得到的是连续的数怎么离散？
为什么deep lab v3起，输出不再接 DenseCRF了？
机器学习包含哪些学习思想？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
深度学习工作站中使用AMD的CPU会有问题吗？
李航的统计学习方法，吴恩达的视频，关于机器学习的东西都看不懂是怎么回事？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
准研一，导师NLP方向，导师接下了一个项目让我跟着手工标数据，请问是不是在PUA我?
什么是无监督学习？