基于噪声数据与干净数据的深度置信网络

	基于噪声数据与干净数据的深度置信网络
	张楠 1; 丁世飞 1; 张健 1; 赵星宇 1
	2019
发表期刊	软件学报
ISSN	1000-9825
卷号	30.0 期号:011 页码:3326
摘要	建立以受限玻尔兹曼机(restricted Boltzmann machine,简称RBM)为基石的深度网络模型,是深度学习研究的热点领域之一.Point-wise Gated受限玻尔兹曼机(point-wise gated RBM,简称pgRBM)是一种RBM的变种算法.该算法能够在含噪声的数据中自适应地找到数据中与分类有关的部分,从而实现较好的分类结果.假设一组数据中有噪声数据和干净数据,如何应用不含噪声的数据提升pgRBM的性能,是一个重要的研究问题.针对这一问题,首先,在传统的pgRBM基础上提出一种基于随机噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机(pgRBM based on random noisy data and clean data,简称pgrncRBM)方法,其网络中与分类有关权值的初值是通过不含噪声的数据学习得到的,所以pgrncRBM在处理随机噪声数据时可以学习到更为“干净”的数据.在pgrncRBM中,与分类有关的数据与噪声都是使用RBM建模.如果噪声是图片,pgrncRBM就不能很好地去除噪声.Spike-and-Slab RBM(ssRBM)是一种处理实值数据的RBM变种模型,其定义两种不同类型的隐层用来学习实值数据的分布特性.因此,将ssRBM与pgRBM相结合,提出一种基于图像噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机(pgRBM based on image noisy data and clean data,简称pgincRBM)方法.该方法使用ssRBM对噪声建模,其在处理图像噪声数据时可以学习到更为“干净”的数据.然后,通过堆叠pgrncRBM、pgincRBM和传统的RBM构建出深度网络模型,并探讨了权值不确定性方法在提出网络模型中的可行性.最后,在含噪声的手写数据集上进行MATLAB仿真实验.实验结果表明,pgrncRBM和pgincRBM都是有效的神经网络学习方法.
关键词	受限玻尔兹曼机深度置信网络权值不确定性特征选择
语种	英语
文献类型	期刊论文
条目标识符	http://119.78.100.204/handle/2XEOYT63/34634
专题	中国科学院计算技术研究所期刊论文_中文
作者单位	1.中国矿业大学 2.国家教育部 3.中国科学院计算技术研究所
推荐引用方式 GB/T 7714	张楠,丁世飞,张健,等. 基于噪声数据与干净数据的深度置信网络[J]. 软件学报,2019,30.0(011):3326.
APA	张楠,丁世飞,张健,&赵星宇.(2019).基于噪声数据与干净数据的深度置信网络.软件学报,30.0(011),3326.
MLA	张楠,et al."基于噪声数据与干净数据的深度置信网络".软件学报 30.0.011(2019):3326.