百科问答小站 logo
百科问答小站 font logo



在中文 NLP 等论文中,应该如何翻译 token 这个词? 第1页

  

user avatar   zibuyu9 网友的相关建议: 
      

在语言学特定语境下,一般会将 word type 和 word token 做比对,这时候,翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态,而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候,大致是指的文本序列中具体出现的那些词,即word token。




  

相关话题

  GAN的生成器是怎么产生图片的? 
  魔鬼如何在最短时间内抓住天使? 
  TensorFlow 有哪些令人难以接受的地方? 
  国内 top2 高校研一在读,为什么感觉深度学习越学越懵? 
  为什么多方安全计算(或者隐私计算/联邦学习)在中国这么火? 
  为什么做机器学习的很少使用假设检验? 
  请问刘知远老师提供的网易新闻标注数据集开源吗? 
  如果推出一款有「滤镜」功能的写作软件,修饰平庸的文字,会有市场吗? 
  用生成模型做数据增强data augmentation时,如何从合成数据中筛选出质量较好的样本? 
  t-sne数据可视化算法的作用是啥?为了降维还是认识数据? 

前一个讨论
穷小孩读博既想在学术上有造诣,又想保底留退路,该如何抉择?
下一个讨论
如何看待 GitHub 新推出的 Large File Storage (LFS)?





© 2025-05-29 - tinynew.org. All Rights Reserved.
© 2025-05-29 - tinynew.org. 保留所有权利