收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的电网数据质量校验方法与验证系统

张志亮  孙煜华  陈承志  龙庆麟  梁国辉  顾荣  杨滨诚  黄宜华  
【摘要】:在诸多电网数据处理应用中,电网数据质量监测是电网大数据处理业务中最重要的一个环节.随着电网数据规模和数据质量校验规则数量和复杂度的不断增大,目前现有的基于传统数据库系统和计算平台的数据质量校验系统的处理能力已经出现严重的瓶颈,难以快速完成数据质量的监测和校验,且系统难以扩展,越来越难以满足日常的生产管理和经营决策的需求.大数据技术为解决电网大数据处理提供了良好的技术手段和支撑平台.为此,提出了一种基于大数据的电网数据质量校验解决方案,研究设计了基于Hadoop平台的分布式数据存储管理和并行化校验规则执行技术,选择批量和增量数据质量校验典型场景,进行了验证性研究,设计实现了针对数据校验的索引存储机制,对校验规则相关的属性建立快速索引,并进一步设计实现了基于HBase和MapReduce的并行化校验规则执行算法,使得数据质量校验的处理性能得到显著提升.在此基础上,基于验证性数据集和校验规则实现了一个验证性系统,实验结果表明,所提出的技术方法可以有效地提升数据质量校验处理性能,可满足实时/准实时电网数据数据校验需求,并且提供了一种具有良好可扩展性的系统解决方案.

知网文化
【相似文献】
中国期刊全文数据库 前3条
1 陆洪智,郭海林;一个配电GIS系统[J];计算机与现代化;2004年05期
2 孟凡奇;曲朝阳;刘晶敏;;基于SQL的电网海量数据属性约简方法[J];电气应用;2012年13期
3 ;[J];;年期
中国重要会议论文全文数据库 前1条
1 吴俊杰;;基于SCADA系统的电网数据分析及应用[A];2007中国电机工程学会电力系统自动化专委会供用电管理自动化学科组(分专委会)二届三次会议论文集[C];2007年
中国博士学位论文全文数据库 前1条
1 赵威;电网数据中心的数据安全问题研究[D];燕山大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978