收藏本站
《互联网天地》 2016年01期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于Spark平台的K-means聚类算法改进及并行化实现

吴哲夫  张彤  肖鹰  
【摘要】:针对K-means算法在数据聚类过程中初始值选取的随机性问题,基于非均匀采样原则对该算法进行改进。同时,针对聚类算法并行化的需求,基于Spark平台对改进算法进行了并行化实现。单机串行处理和集群并行化实验证明了该改进算法在处理海量数据集时具有更高的准确性和稳定性,且在Spark平台上的并行化实现具有良好的加速比和可扩展性,从而表明该算法能在实际的海量数据处理中高效运行。

【相似文献】
中国期刊全文数据库 前10条
1 吴正娟;职为梅;杨勇;范明;;并行化的粒子群技术[J];微计算机信息;2009年36期
2 齐书阳;;迎接并行化的明天[J];软件世界;2009年06期
3 曹琳,杨学军,金国华;两种并行化机制的分析[J];计算机研究与发展;1993年09期
4 金国华,陈福接;并行化技术与工具[J];计算机研究与发展;1996年07期
5 蔡立志,童维勤,廖文昭;序列拼装程序的并行化研究与实现[J];计算机工程与应用;2003年14期
6 王伟;潘建伟;;有限差分法的并行化计算实现[J];电脑知识与技术;2008年07期
7 程锦松;;迭代法的并行化[J];安徽大学学报(自然科学版);1997年03期
8 陈再高;王玥;王建国;张殿辉;付梅艳;乔海亮;袁媛;;三维粒子模拟并行化技术研究[J];计算机工程与科学;2009年11期
9 赵凤治;地震作业数据处理并行化的几个问题[J];计算机系统应用;1994年10期
10 高嵩,崔西宁;并行化高级语言的实现[J];西安工业学院学报;1997年02期
中国重要会议论文全文数据库 前7条
1 兰彤;冯玉才;肖伟器;;空间连接处理的并行化研究[A];数据库研究进展97——第十四届全国数据库学术会议论文集(上)[C];1997年
2 张雯;骆志刚;赵翔;王金华;靳新;;剪接比对软件sim4的并行化研究与实现[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
3 王本龙;龚凯;刘桦;;自由表面流动问题的并行化SPH方法求解[A];中国力学学会学术大会'2009论文摘要集[C];2009年
4 王峰;杨建俊;张天爵;许淑艳;;不同操作平台上的MCNP并行化计算[A];中国原子能科学研究院年报 2009[C];2010年
5 徐金秀;张天刚;;NCC区域气候模式算法分析及并行化实现[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
6 陈皓;罗月童;刘晓平;;基于MPI的光子映射算法并行化[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
7 曹琰;王清贤;魏强;尹中旭;;基于相容和搜索结合的并行约束求解方法[A];2013年中国智能自动化学术会议论文集(第五分册)[C];2013年
中国重要报纸全文数据库 前3条
1 ;服务器软件的并行化革命[N];网络世界;2006年
2 谢涛;英特尔:忽视并行化软件后果很危险[N];电脑商报;2008年
3 记者 鲁媛媛;英特尔软件进入并行时代[N];网络世界;2009年
中国博士学位论文全文数据库 前5条
1 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年
2 丁晓宁;面向CFD的交互式并行化技术研究[D];西北工业大学;2002年
3 张平;并行化编译器中并行程序自动生成和性能优化技术研究[D];解放军信息工程大学;2006年
4 傅游;稀薄气体Monte Carlo数值仿真并行化技术研究与实现[D];西北工业大学;2002年
5 董春丽;并行化编译中数据和计算的自动划分及优化技术研究[D];解放军信息工程大学;2007年
中国硕士学位论文全文数据库 前10条
1 荣卓波;基于Hadoop的并行化算法实现及GPS数据实例分析[D];西南大学;2015年
2 赖梓昌;基于MPCore多核并行化的宽景视觉研究与实现[D];西南交通大学;2015年
3 杨睿;基于并行计算的基因序列快速比对方法研究[D];浙江大学;2015年
4 王心阳;一种基于MapReduce模型的并行化TSP算法研究[D];电子科技大学;2015年
5 赵正委;基于BSP模型的网络最大流算法的并行化研究与实现[D];电子科技大学;2014年
6 康少华;空间碎片探测软件的并行化及WCRT分析[D];北京理工大学;2015年
7 王向辉;嵌入式浏览器并行化的研究与设计[D];电子科技大学;2014年
8 金龑;协同过滤算法及其并行化研究[D];南京大学;2012年
9 李莹;基于共享存储结构的并行化技术及其优化问题的研究[D];中国石油大学(华东);2013年
10 杜占伟;人脸识别的并行化研究与实现[D];东北大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026