百科问答小站 logo
百科问答小站 font logo



god bless us 为什么百度翻译是辛巴? 第1页

  

user avatar   SeptEnds 网友的相关建议: 
      

先吐个槽,回答里没一个懂机器翻译的,更没一个有相关工业界经验的。无非是 diss 百度辣鸡嘛,有什么意思呢?然后开始正文,讲讲为什么会出现这种现象。


从算法上讲,@颜如玉 的答案没什么问题。现在还在商用的机器翻译系统基本上就两种:

  • 统计机器翻译。主要应用在小语种上,针对平行语料数据量较少的情形。特点是翻译结果忠实度更高,流畅性不足。
  • 神经网络机器翻译。随着平行语料数据量的增加,翻译质量会不断提高,因此主要用在各大主流语言上,特点是翻译结果流畅性很好,但忠实度不足,不耐噪音,例如输入的原文有一点小错误(引号不成对、有一个错别字等等)就可能会导致半句话从翻译结果里消失。

中英文都是大语种,再加上百度翻译的新闻稿,基本可以确定百度中英翻译使用的是神经网络机器翻译。除非你运气不太好,被百度 A/B 测试分到统计机器翻译的桶里去了;或者是神经网络机器翻译由于某种巧合出错了,系统返回了统计机器翻译的结果作为兜底。


但这个问题显然不是算法问题,而是工程问题。算法是需要平行语料训练的,数据从哪儿来?主要来源有:

       1、花钱买 2、自己标 3、公开数据集 4、爬虫爬     

1 要花钱,2 费时费力,3 各大厂商都可以用做不出来花,还剩啥?4。

爬虫怎么爬?一是直接找双语平行语料,例如有些机构的文章会用中英文双语写成(大多是篇章级别对齐的),爬下来以后再进行分段、分句、对齐,就得到了句级别的平行语料。二是找可比语料,例如我知道某个术语的中英文分别是什么,就去找它们的维基百科页面。虽然两个页面不一定互为翻译(往往英文页面的内容比中文页面丰富得多),但是常常能找到有一些句子是互为翻译的。把两个页面爬下来以后,再用现有的机器翻译系统或其他方法进行打分,置信度高的句对就认为是平行句对,可以加到训练语料中。

搜索“辛巴 god bless us”,可以找到一个豆瓣页面,里面有一行内容:

2011-08-05 10:10:19 辛巴 (god bless us)

所以……大概率是百度的爬虫把这位用户的用户名“辛巴”和个性签名"god bless us"当成平行句对加到自家的翻译系统里了。

同时,由于 God bless us 的翻译结果是正常的,我们还可以确定百度翻译的分词器是大小写敏感的(case-sensitive),而非先 lower case 再 recase。




  

相关话题

  机器学习,数据挖掘在研究生阶段大概要学些什么? 
  有什么类似于Al的炒股软件介绍给上班一族? 
  《2050:未来议程》(2021) 问题2:在工业时代,人被异化为机器;在数字时代,还存在人的异化吗? 
  BERT模型可以使用无监督的方法做文本相似度任务吗? 
  波士顿动力最新战争机器人,对各国军事平衡产生怎样影响? 
  辐射4中的 Minuteman 组织,是否翻译为“一分钟人”更好? 
  如果有第谷的数据,现在的机器学习,深度学习有办法学出开普勒三定律吗? 
  德语区地名里常见的-au后缀到底是什么意思? 
  让人工智能去下路边街头的象棋残局会赢吗? 
  有没有根据一张人物的立绘正面像,自动生成同风格各侧面角度像并自动衍生表情的软件啊? 

前一个讨论
日本的县领导为什么不叫县长而叫知事?
下一个讨论
如何看待开源中国Gitee在不通知用户的情况下突然禁止图床外链访问,导致用户权益受损的行为?





© 2024-11-08 - tinynew.org. All Rights Reserved.
© 2024-11-08 - tinynew.org. 保留所有权利