Institute of Computing Technology, Chinese Academy IR
| 面向多核处理器的机器学习推理框架 | |
| 张潇1; 支天1 | |
| 2019 | |
| 发表期刊 | 计算机研究与发展
 |
| ISSN | 1000-1239 |
| 卷号 | 56.0期号:009页码:1977 |
| 摘要 | 近年来,深度神经网络被广泛应用于各个领域并取得了极大的成功.由于神经网络模型的尺寸和计算量的不断增加,为了能够高效迅速地完成神经网络的计算,包括GPU和专用加速器在内的很多新型硬件处理器被用于深度学习的计算.尽管如此,通用处理器作为目前最为常见和易于获得的计算平台,探究如何高效地在其上运行神经网络算法同样具有重要意义.多核处理器在训练阶段可以采用数据并行的方式来提高数据吞吐量,加快训练速度.然而在推理阶段,相比吞吐量场景,端到端的时延往往更加重要,因为这决定了处理器在某个场景下的可用性.传统的数据并行方案不能满足推理场景下对处理器小数据、低延迟的要求.因此,对于多核的处理器结构,需要在算子内部对计算进行拆分,才能够充分利用多核结构的硬件资源.考虑到处理器的计算特点,需要一种精细的方法来对计算图中的算子进行合理的拆分,才能真正有效地发挥出多核处理器的计算潜能.提出一种基于算子拆分的并行框架,可以用较小的开销实现处理器由单核向多核结构上的扩展,并且能够针对给定的网络和底层处理器特点给出一种高效的拆分方案.实验结果表明:该方法能有效降低各种网络在多核处理器上的端到端时延. |
| 关键词 | 深度学习框架 多核处理器 低延迟推理 算子拆分 循环神经网络 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/36994 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.中国科学院 3.上海寒武纪信息科技有限公司 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 张潇,支天. 面向多核处理器的机器学习推理框架[J]. 计算机研究与发展,2019,56.0(009):1977. |
| APA | 张潇,&支天.(2019).面向多核处理器的机器学习推理框架.计算机研究与发展,56.0(009),1977. |
| MLA | 张潇,et al."面向多核处理器的机器学习推理框架".计算机研究与发展 56.0.009(2019):1977. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [张潇]的文章 |
| [支天]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [张潇]的文章 |
| [支天]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [张潇]的文章 |
| [支天]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论