百科问答小站 logo
百科问答小站 font logo



在中文 NLP 等论文中,应该如何翻译 token 这个词? 第1页

  

user avatar   zibuyu9 网友的相关建议: 
      

在语言学特定语境下,一般会将 word type 和 word token 做比对,这时候,翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态,而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候,大致是指的文本序列中具体出现的那些词,即word token。




  

相关话题

  如何评价CVPR2019程序主席Derek Hoiem的论点:计算机视觉只是记忆,不是智能? 
  如何评价基于游戏毁灭战士(Doom)的AI死亡竞赛大赛结果? 
  人工智能在发展到极高的程度之后能否算得上是一种生命? 
  如何看待End-to-End Object Detection with Transformers? 
  目前强化学习在控制领域的应用有哪些? 
  为什么我学过微积分、线性代数和概率论,还是看不懂机器学习? 
  要研究深度学习的可解释性(Interpretability),应从哪几个方面着手? 
  国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队? 
  有没有根据一张人物的立绘正面像,自动生成同风格各侧面角度像并自动衍生表情的软件啊? 
  是不是机器学习的框架都偏向 Python ?如果是,为什么? 

前一个讨论
穷小孩读博既想在学术上有造诣,又想保底留退路,该如何抉择?
下一个讨论
如何看待 GitHub 新推出的 Large File Storage (LFS)?





© 2024-11-09 - tinynew.org. All Rights Reserved.
© 2024-11-09 - tinynew.org. 保留所有权利