SparkCRF：一种基于Spark的并行CRFs算法实现

	SparkCRF：一种基于Spark的并行CRFs算法实现
	朱继召 1; 贾岩涛 2; 徐君 2; 乔建忠 1; 王元卓 2; 程学旗 2
	2016
发表期刊	计算机研究与发展
ISSN	1000-1239
卷号	53.0 期号:008 页码:1819
摘要	条件随机场（condition random fields,CRFs）可用于解决各种文本分析问题,如自然语言处理（natural language processing,NLP）中的序列标记、中文分词、命名实体识别、实体间关系抽取等.传统的运行在单节点上的条件随机场在处理大规模文本时,面临一系列挑战.一方面,个人计算机遇到处理的瓶颈从而难以胜任;另一方面,服务器执行效率较低.而通过升级服务器的硬件配置来提高其计算能力的方法,在处理大规模的文本分析任务时,终究不能从根本上解决问题.为此,采用＂分而治之＂的思想,基于Apache Spark的大数据处理框架设计并实现了运行在集群环境下的分布式CRFs——SparkCRF.实验表明,SparkCRF在文本分析任务中,具有高效的计算能力和较好的扩展性,并且具有与传统的单节点CRF＋＋相同水平的准确率.
关键词	大数据机器学习分布式计算 Spark 条件随机场
语种	英语
文献类型	期刊论文
条目标识符	http://119.78.100.204/handle/2XEOYT63/36282
专题	中国科学院计算技术研究所期刊论文_中文
作者单位	1.东北大学 2.中国科学院计算技术研究所
推荐引用方式 GB/T 7714	朱继召,贾岩涛,徐君,等. SparkCRF：一种基于Spark的并行CRFs算法实现[J]. 计算机研究与发展,2016,53.0(008):1819.
APA	朱继召,贾岩涛,徐君,乔建忠,王元卓,&程学旗.(2016).SparkCRF：一种基于Spark的并行CRFs算法实现.计算机研究与发展,53.0(008),1819.
MLA	朱继召,et al."SparkCRF：一种基于Spark的并行CRFs算法实现".计算机研究与发展 53.0.008(2016):1819.