Institute of Computing Technology, Chinese Academy IR
| 基于Spark的高效并行自动编码机 | |
| 庄福振1; 钱明达1; 申恩兆1; 张大鹏2; 何清1 | |
| 2018 | |
| 发表期刊 | 数据采集与处理
 |
| ISSN | 1004-9037 |
| 卷号 | 33.0期号:1.0页码:65 |
| 摘要 | 机器学习中一个非常关键的问题就是如何获取良好的数据特征表示,许多经典的特征提取方法是基于数据间关系或利用简单线性组合降维后得到数据的特征表示。其中深度学习算法在各种学习任务中都可以取得良好的效果,而且可以学到很好的数据特征表示。但现有深度学习算法或模型大多为单机串行实现,不能处理较大规模的数据且运行时间较长。本文设计实现了一种基于Spark分布式平台的高效并行自动编码机,该编码机可以有效地进行特征表示学习,并且利用分布式计算平台Spark对算法进行加速,优化了对稀疏数据的操作,大大提升了运行效率。本文通过在文本数据特征学习以及协同过滤两个任务上的实验,表明本文所实现的并行自动编码机的有效性和高效性。 |
| 关键词 | 自动编码机 Spark 机器学习 深度学习 特征学习 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/25661 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.燕山大学 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 庄福振,钱明达,申恩兆,等. 基于Spark的高效并行自动编码机[J]. 数据采集与处理,2018,33.0(1.0):65. |
| APA | 庄福振,钱明达,申恩兆,张大鹏,&何清.(2018).基于Spark的高效并行自动编码机.数据采集与处理,33.0(1.0),65. |
| MLA | 庄福振,et al."基于Spark的高效并行自动编码机".数据采集与处理 33.0.1.0(2018):65. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [庄福振]的文章 |
| [钱明达]的文章 |
| [申恩兆]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [庄福振]的文章 |
| [钱明达]的文章 |
| [申恩兆]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [庄福振]的文章 |
| [钱明达]的文章 |
| [申恩兆]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论