在中文 NLP 等论文中，应该如何翻译 token 这个词？ 第1页
1
zibuyu9 网友的相关建议:
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
1
相关话题
如何看待2016年3月柯洁表示 AlphaGo「赢不了我」？Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
人工智能已在哪些领域超越了人类的表现？
在机器学习中，L2正则化为什么能够缓过拟合？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
Learning To Rank的pair wise方法如何得到全局排序结果呢？
当初的生物热，和如今的全民CS全民AI，让你想到了什么？
是不是并不是所有问题都适合用神经网络预测？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何评价 Self-Normalizing Neural Networks 这篇论文?
相关的话题
刷leetcode使用python还是c++？为什么交叉熵（cross-entropy）可以用于计算代价？
自动化的控制与检测领域中，有没有像机器学习、图像处理领域一样经典巧妙的算法？
nlp有哪些值得完整实现一遍的算法?
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
如何看待Kaggle最新比赛Zillow禁止中国居民参加第二轮？
什么是狄利克雷分布？狄利克雷过程又是什么？
研究推荐系统要对NLP很了解吗？
机器学习在理论经济学研究中有哪些可能的应用前景？
人工智能相关的岗位薪酬状况如何？
为什么 BERT 的 intermediate_size 这么大？
Python 如何画出漂亮的地图？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
如何通俗易懂地介绍 Gaussian Process？
怎么在家学习一些关于机器学习的知识?
BERT模型可以使用无监督的方法做文本相似度任务吗？
机器学习，数据挖掘在研究生阶段大概要学些什么？
深度学习attention机制中的Q,K,V分别是从哪来的？
不觉得最大熵原理很奇怪吗？
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
自然语言处理怎么最快入门？
如果推出一款有「滤镜」功能的写作软件，修饰平庸的文字，会有市场吗？
未来十年，AI 将可能与哪些产业结合应用？产生怎样的价值？
百度学术能否替代 Google 学术网站？有没有其他选择？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
如何看待End-to-End Object Detection with Transformers？
c4.5为什么使用信息增益比来选择特征？
小样本学习中关于虚拟样本有效性的问题？
如何看待2021年哔哩哔哩拜年纪采用机器生成的假弹幕？
关于材料计算，模拟，仿真什么区别?