Institute of Computing Technology, Chinese Academy IR
| 结合视觉特征和场景语义的图像描述生成 | |
| 李志欣1; 魏海洋1; 黄飞成1; 张灿龙1; 马慧芳1; 史忠植3 | |
| 2020 | |
| 发表期刊 | 计算机学报
 |
| ISSN | 0254-4164 |
| 卷号 | 43.0期号:009页码:1624 |
| 摘要 | 现有的图像描述生成方法大多只使用图像的视觉信息来指导描述的生成,缺乏有效的场景语义信息的指导,而且目前的视觉注意机制也无法调整对图像注意的聚焦强度.针对这些问题,本文首先提出了一种改进的视觉注意模型,引入聚焦强度系数自动调整注意强度.在解码器的每个时间步,通过模型的上下文信息和图像信息计算注意机制的聚焦强度系数,并通过该系数自动调整注意机制的“软”、“硬”强度,从而提取到更准确的图像视觉信息.此外,本文利用潜在狄利克雷分布模型与多层感知机提取出一系列与图像场景相关的主题词来表示图像场景语义信息,并将这些信息添加到语言生成模型中来指导单词的生成.由于图像的场景主题信息是通过分析描述文本获得,包含描述的全局信息,所以模型可以生成一些适合图像场景的重要单词.最后,本文利用注意机制来确定模型在解码的每一时刻所关注的图像视觉信息和场景语义信息,并将它们结合起来共同指导模型生成更加准确且符合场景主题的描述.实验评估在MSCOCO和Flickr30k两个标准数据集上进行,实验结果表明本文方法能够生成更加准确的描述,并且在整体的评价指标上与基线方法相比有3%左右的性能提升. |
| 关键词 | 图像描述生成 注意机制 场景语义 编码器-解码器框架 强化学习 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/34412 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.广西师范大学 2.西北师范大学 3.中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 李志欣,魏海洋,黄飞成,等. 结合视觉特征和场景语义的图像描述生成[J]. 计算机学报,2020,43.0(009):1624. |
| APA | 李志欣,魏海洋,黄飞成,张灿龙,马慧芳,&史忠植.(2020).结合视觉特征和场景语义的图像描述生成.计算机学报,43.0(009),1624. |
| MLA | 李志欣,et al."结合视觉特征和场景语义的图像描述生成".计算机学报 43.0.009(2020):1624. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [李志欣]的文章 |
| [魏海洋]的文章 |
| [黄飞成]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [李志欣]的文章 |
| [魏海洋]的文章 |
| [黄飞成]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [李志欣]的文章 |
| [魏海洋]的文章 |
| [黄飞成]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论