Institute of Computing Technology, Chinese Academy IR
| 基于简单循环单元的深层神经网络机器翻译模型 | |
| 张文; 冯洋; 刘群 | |
| 2018 | |
| 发表期刊 | 中文信息学报
 |
| ISSN | 1003-0077 |
| 卷号 | 32.0期号:010页码:36 |
| 摘要 | 基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型使用编码器—解码器框架,将翻译任务建模成序列到序列的问题。然而,在基于门控循环单元（gated recurrent unit,GRU）的编码器—解码器模型中,随着模型层数的增加,梯度消失的问题使模型难以收敛并且严重退化,进而使翻译性能下降。该文使用了一种简单循环单元（simple recurrent unit,SRU）代替GRU单元,通过堆叠网络层数加深编码器和解码器的结构,提高了神经网络机器翻译模型的性能。我们在德语—英语和维语—汉语翻译任务上进行了实验,实验结果表明,在神经网络机器翻译模型中使用SRU单元,可以有效地解决梯度消失带来的模型难以训练的问题;通过加深模型能够显著地提升系统的翻译性能,同时保证训练速度基本不变。此外,我们还与基于残差连接（residual connections）的神经网络机器翻译模型进行了实验对比,实验结果表明,我们的模型有显著性优势。 |
| 关键词 | 门控循环单元 梯度消失 残差连接 简单循环单元 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/26153 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 中国科学院计算技术研究所 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 张文,冯洋,刘群. 基于简单循环单元的深层神经网络机器翻译模型[J]. 中文信息学报,2018,32.0(010):36. |
| APA | 张文,冯洋,&刘群.(2018).基于简单循环单元的深层神经网络机器翻译模型.中文信息学报,32.0(010),36. |
| MLA | 张文,et al."基于简单循环单元的深层神经网络机器翻译模型".中文信息学报 32.0.010(2018):36. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [张文]的文章 |
| [冯洋]的文章 |
| [刘群]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [张文]的文章 |
| [冯洋]的文章 |
| [刘群]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [张文]的文章 |
| [冯洋]的文章 |
| [刘群]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论