Institute of Computing Technology, Chinese Academy IR
| 基于差异合并的分布式随机梯度下降算法 | |
| 陈振宏; 兰艳艳; 郭嘉丰; 程学旗 | |
| 2015 | |
| 发表期刊 | 计算机学报
 |
| ISSN | 0254-4164 |
| 卷号 | 38.0期号:010页码:2054 |
| 摘要 | 大规模随机梯度下降算法是近年来的热点研究问题,提高其收敛速度和性能具有重要的应用价值.大规模随机梯度下降算法可以分为数据并行和模型并行两大类.在数据并行算法中,模型合并是一种比较常用的策略.目前,基于模型合并的随机梯度下降算法普遍采用平均加权方式进行合并,虽然取得了不错的效果,但是,这种方式忽略了参与合并的模型的内在差异性,最终导致算法收敛速度慢,模型的性能及稳定性较差.针对上述问题,该文在分布式场景下,提出了基于模型差异进行合并的策略,差异性主要体现在两方面,各模型在其训练数据上错误率的差异和训练不同阶段模型合并策略的差异.此外,该文对合并后的模型采用规范化技术,将其投射到与合并前模型Frobenius范数相同的球体上,提高了模型的收敛性能.作者在Epsilon、RCV1-v2和URL 3个数据集上,验证了提出的基于差异合并的分布式随机梯度下降算法相对于平均加权方式具有收敛速度更快、模型性能更好的性质. |
| 关键词 | 分布式 随机梯度下降 规范化 模型合并 社交网络 社会计算 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/35590 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 中国科学院计算技术研究所 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 陈振宏,兰艳艳,郭嘉丰,等. 基于差异合并的分布式随机梯度下降算法[J]. 计算机学报,2015,38.0(010):2054. |
| APA | 陈振宏,兰艳艳,郭嘉丰,&程学旗.(2015).基于差异合并的分布式随机梯度下降算法.计算机学报,38.0(010),2054. |
| MLA | 陈振宏,et al."基于差异合并的分布式随机梯度下降算法".计算机学报 38.0.010(2015):2054. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [陈振宏]的文章 |
| [兰艳艳]的文章 |
| [郭嘉丰]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [陈振宏]的文章 |
| [兰艳艳]的文章 |
| [郭嘉丰]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [陈振宏]的文章 |
| [兰艳艳]的文章 |
| [郭嘉丰]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论