Institute of Computing Technology, Chinese Academy IR
| 面向稀疏卷积神经网络的GPU性能优化方法 | |
| 董晓; 刘雷; 李晶; 冯晓兵 | |
| 2020 | |
| 发表期刊 | 软件学报
 |
| ISSN | 1000-9825 |
| 卷号 | 31期号:9页码:2944 |
| 摘要 | 近些年来,深度卷积神经网络在多项任务中展现了惊人的能力,并已经被用在物体检测、自动驾驶和机器翻译等众多应用中.但这些模型往往参数规模庞大,并带来了沉重的计算负担.神经网络的模型剪枝技术能够识别并删除模型中对精度影响较小的参数,从而降低模型的参数数目和理论计算量,给模型的高效执行提供了机会.然而,剪枝后的稀疏模型却难以在GPU上实现高效执行,其性能甚至差于剪枝前的稠密模型,导致模型剪枝难以带来真正的执行性能收益.提出一种稀疏感知的代码生成方法,能够生成高效的稀疏卷积GPU程序.首先为卷积算子设计了算子模板,并结合GPU的特点对模板代码进行了多种优化.算子模板中的源代码经过编译和分析被转换为算子中间表示模板,设计了一种稀疏代码生成方法,能够结合剪枝后的稀疏参数,基于中间表示模板生成对应的稀疏卷积代码.同时,利用神经网络执行过程中的数据访问特点对数据的访问和放置进行了优化,有效提升了访存吞吐量.最后,稀疏参数的位置信息被隐式编码在生成的代码中,不需要额外的索引结构,降低了访存需求.在实验中证明了:相对于GPU上已有的稀疏神经网络执行方法,提出的稀疏感知的代码生成方法能够有效提升稀疏卷积神经网络的性能. |
| 关键词 | neural networks sparse GPU performance optimization convolution code generation 神经网络 稀疏 GPU 性能优化 卷积 代码生成 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/34441 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 中国科学院计算技术研究所 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 董晓,刘雷,李晶,等. 面向稀疏卷积神经网络的GPU性能优化方法[J]. 软件学报,2020,31(9):2944. |
| APA | 董晓,刘雷,李晶,&冯晓兵.(2020).面向稀疏卷积神经网络的GPU性能优化方法.软件学报,31(9),2944. |
| MLA | 董晓,et al."面向稀疏卷积神经网络的GPU性能优化方法".软件学报 31.9(2020):2944. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [董晓]的文章 |
| [刘雷]的文章 |
| [李晶]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [董晓]的文章 |
| [刘雷]的文章 |
| [李晶]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [董晓]的文章 |
| [刘雷]的文章 |
| [李晶]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论