Institute of Computing Technology, Chinese Academy IR
| 利用单语数据改进神经机器翻译压缩模型的翻译质量 | |
| 李响1; 刘洋3; 陈伟4; 刘群5 | |
| 2019 | |
| 发表期刊 | 中文信息学报
 |
| ISSN | 1003-0077 |
| 卷号 | 000期号:007页码:46 |
| 摘要 | 该文提出利用一个大型且精度高的神经机器翻译模型(教师模型)从单语数据中提取隐性双语知识,从而改进小型且精度低的神经机器翻译模型(学生模型)的翻译质量。该文首先提出了'伪双语数据'的教学方法,利用教师模型翻译单语数据获得的合成双语数据改进学生模型,然后提出了'负对数似然—知识蒸馏联合优化'教学方法,除了利用合成双语数据,还利用教师模型获得的目标语言词语概率分布作为知识,从而在知识蒸馏框架下提高学生模型的翻译质量。实验证明,在中英和德英翻译任务上,使用该方法训练的学生模型不仅在领域内测试集上显著超过了基线学生模型,而且在领域外测试集上的泛化性能也得到了提高。 |
| 关键词 | 神经机器翻译 知识蒸馏 单语数据 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/35562 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.中国科学院研究生院 3.清华大学 4.北京搜狗科技发展有限公司 5.华为诺亚方舟实验室 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 李响,刘洋,陈伟,等. 利用单语数据改进神经机器翻译压缩模型的翻译质量[J]. 中文信息学报,2019,000(007):46. |
| APA | 李响,刘洋,陈伟,&刘群.(2019).利用单语数据改进神经机器翻译压缩模型的翻译质量.中文信息学报,000(007),46. |
| MLA | 李响,et al."利用单语数据改进神经机器翻译压缩模型的翻译质量".中文信息学报 000.007(2019):46. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [李响]的文章 |
| [刘洋]的文章 |
| [陈伟]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [李响]的文章 |
| [刘洋]的文章 |
| [陈伟]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [李响]的文章 |
| [刘洋]的文章 |
| [陈伟]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论