谷歌Transformer解决了机器翻译中的一个难题
如今机器学习已经成为一种非常有用的翻译工具,但它还存在一些弱点,翻译模式倾向于逐词翻译是其中之一,可导致严重错误。谷歌在iResearch博客上发表了一篇有趣的帖子,详细说明了这个问题的性质以及解决方案。
该公司自然语言处理部门雅克布·乌兹考瑞特(Jakob Uszkoreit)给出了很好的解释。请思考以下两个句子:
我过了马路就到了银行(bank);
我过了河就到了岸边(bank)。
显然,每句话中的“bank”指代不同的东西,但是,逐字翻译的算法可能很可能挑选错误的含义——因为它不知道哪一个“bank”是正确的,除非它能看到句子结尾。你稍加留意就能发现,这种歧义随处可见。
我会改写句子,当然,翻译系统不会选择这样走。如果为了这种简单的句子而修改神经网络,那将是非常低效的。谷歌的解决方案是所谓的关注机制(attention mechanism),也就是说在翻译软件中内置一个名为“变压器”(Transformaer)的系统。它将句子中的单词逐一进行比较,以确定它们之间是否以某种关键方式相互影响——例如,看“他”或“她”是否在说话,或者像“银行”这样的词是否以特定的方式表示。
当翻译句子被构建时,关注机制将每个词与其他词进行比较,就像下面GIF所演示的那样。如果这一切听起来很熟悉,那可能是因为本周早些时候你读过一篇报道:谷歌翻译的竞争对手DeepL也在使用一种关注机制。该公司的联合创始人提到了这个问题,他们正在为此而努力工作,他甚至提到那篇报道谷歌的文章,但显而易见,他们的产品与谷歌有所区别,非常有效,甚至好于后者的版本。
有趣的是,谷歌的方法让人们有机会看到系统的运作原理,因为Transformer给每个词提供一个与其他单词相关程度的得分,你可以看到它认为是相关的词,或者潜在的相关词:
很酷,对吧?嗯,我想是的。但也存在另一种类型的歧义,因为在英文里,“它”可以指代街道或动物,必须看到最后一个字才能确定bank的含义。人脑可以自动计算和分辨,但机器仍然必须有人教。
孤岛惊魂新曙光史诗野兽繁多敌军哨站升级孤岛惊魂新曙光将玩家们带往了一个后末日世界,而根据游戏创意总监JeanSeacutebastienDecant介绍,这个世界与前作孤岛惊魂5之中有着很多的不同,在这个后末日世界里,
行尸走肉最终季公布游戏第三章预告片接替Telltale继续制作行尸走肉最终季的SkyboundGames公布了游戏第三章ldquo坏玩具(BrokenToys)rdquo的预告片,同时宣布第三章将于2019年1月1
守望先锋再迎两款新皮肤黑百合造型一言难尽守望先锋官方今日公布了雪国仙境活动中的两款新皮肤,他们分别是ldquo圣诞礼物rdquo堡垒(史诗品质)以及ldquo雪地越野rdquo黑百合(传奇品质)。守望先锋圣诞礼物堡垒从视
行尸走肉最终季确定2019年1月发布新续作据外媒报道,行尸走肉最终季(TheWalkingDeadTheFinalSeason)继续的时间将会比人们预期得还要早到。根据公司在KindaFunny游戏展上宣布的消息了解到,该
微软发布了一套以圣诞假期为主题的免费壁纸为了纪念假日季节,微软发布了一套以圣诞假期为主题的免费壁纸。标题为WinterHolidayGlow,品质相当不错,用来装点假期季的电脑非常合适。官方对其描述如下假期中的细节是最贴
NS版星际战甲半个多月下载量已破100万DigitalExtremes开发的星际战甲在11月20日正式登陆了任天堂Switch平台,而仅仅过了半个多月,官方就宣布这款游戏的下载量就已经超过了100万。星际战甲于2013年
绝地求生登陆PS4平台,但想联机需购买PSN会员绝地求生今天正式登陆PS4平台,美服PS商店售价29。99美元(约合人民币208元),与Steam美区的价格完全一致,而支持中文的港版游戏售价214港元(约合人民币188元)。根据
国民老爸又来了!蜡笔小新野原广志手办第二弹之前有介绍过的一款令人大跌眼镜的国民老豆手办西装野原广志看这身条,谁信这是那袜子臭到当武器,活着最大意义是还完房贷的小新他爹?根本就让人觉得帅到不像本尊这颜值可以出道了啊!这款由自
聊天不一定要用微信,今日头条即将推出的飞聊多方消息已经确定,今日头条将会推出一款全新的社交产品飞聊。据悉这是一款年度级的社交聊天应用,对标微信。不会内嵌在今日头条APP中,而是一款独立应用。有消息透露,这款社交应用已经封闭
鬼泣5新截图和情报公布玩家可以联机并肩作战鬼泣5官网近日更新了一些游戏情报以及新的截图,鬼泣5描绘了3名恶魔猎人的激斗,其命运於各处交错。交错的除了他们的命运之外,玩家的激斗亦会与世界各地的玩家交错。时而擦身而过,时而共肩
星际公民众筹突破2。1亿美元3。5版本加入新行星星际公民的众筹金额在11月18号达到了2亿美元,而过了仅仅20天,这个数字已经涨到了2。1亿。本作的3。4版本准备在本月上线,开发商CloudImperium近日公开了新版本游戏的