在中文 NLP 等论文中，应该如何翻译 token 这个词？ 第1页
1
zibuyu9 网友的相关建议:
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
1
相关话题
有什么深度学习数学基础书推荐？如何理解Inductive bias？
2021 年了，机器/深度学习还有哪些坑比较好挖？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
如何评价AWS的图神经网络框架DGL？
如何评价亚马逊AI新开源自动机器学习项目AutoGluon?
你实践中学到的最重要的机器学习经验是什么？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
国内做NLP业务的香侬科技值得去吗？
相关的话题
NLP现在就业是否没有前途?验证集loss上升，准确率却上升该如何理解？
如何评价DeepMind新提出的MuZero算法？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
如何评价Kaiming He团队的MoCo v3？
学习python中的pandas有没有好的教程推荐？
机器学习在Web攻击方向有什么建树吗？
基于大数据的个人信用体系有没有可能被滥用？
如何理解Inductive bias？
关于材料计算，模拟，仿真什么区别?
如何对用户进行聚类分析？
目前手势识别发展到什么水平了？
为什么梯度下降能找到最小值？
迁移学习入门，新手该如何下手？
2021 年，深度学习方面取得了哪些关键性进展？
什么是主动学习（Active Learning, AL）？
如何理解 inductive learning 与 transductive learning?
如何看待swin transformer成为ICCV2021的 best paper？
为什么不能有把中文想法直接转换成电脑程序的编程呢？
去美国读CS博士，方向是机器人导航，视觉方面，推荐一下相关编程方面准备？还有相关算法需要学习哪些？
机器学习专家与统计学家观点上有哪些不同？
你见过哪些“人工智障”?
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
验证集loss上升，准确率却上升该如何理解？
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
如何用自然语言处理判断一句话是否符合中文口语习惯？
为什么 Siri 听懂了我的话，还是不能做出有效的回答或准确的操作？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
自监督学习（Self-supervised Learning）有什么比较新的思路？