收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于动态时间规整的时序数据相似连接

周宁南  张孝  刘城山  王珊  
【摘要】:由于蕴含事物发展规律,时序数据上的数据挖掘正成为大数据决策的重要组成部分.作为时序数据挖掘的一种基本操作,时序数据相似连接可以找出给定相似度度量下的所有相似时序数据对.研究表明,动态时间规整(Dynamic Time Warping,DTW)正在文本挖掘、趋势预测等越来越多的科学与社会应用领域中成为时序数据上目前最佳的相似性度量方法.该文首次提出采用DTW作为相似性度量方法的时序数据相似连接问题.特别地,该文首次提出了基于阈值和基于Top-k的两种DTW度量上的时间序列相似连接任务.除了服务于进一步的时序数据挖掘算法,这两个任务还具有机器翻译、关联检测等广泛的直接应用.但是,直接的相似连接方法因为时序数据的规模大、DTW计算复杂性高而不能在实际中工作.尽管存在很多基于DTW的索引和上下界计算方法,这些工作主要关注DTW度量上的快速检索而非相似连接.因此,这些方法都假设存在一个固定的时序数据作为查询,并根据查询使用时间和空间复杂度很高的方法构建索引或进行预计算.但在文中的相似连接问题中,所有时序数据都是查询,因此这些方法的构建索引和预计算的时间比直接的相似连接方法需要的处理时间还长.为此,该文针对两种相似连接任务提出了两个基于DTW上下界的剪裁框架用于减少准确DTW相似性的计算次数.基于划分,该文为DTW度量设计了新颖的上下界计算方案.由于细粒度的划分带来上下界接近准确的DTW相似性但需要更长的计算时间,而粗粒度的划分需要更短的计算时间和与准确DTW相似性有较大差距的上下界,该文设计了基于二分查找的机制来自动找到合适的划分粒度,实现了整体的高处理性能.面对单机不能容纳全部时序数据和运行时间长的情况,该文将提出的两种相似连接处理框架利用MapReduce并行计算框架扩展到了分布式环境.该文在两个真实数据集上验证了文中提出的DTW相似连接在实际应用中的效果,并在真实与合成数据集上进行了充分的实验,验证了文中方法的高效性.

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 周宁南;张孝;刘城山;王珊;;基于动态时间规整的时序数据相似连接[J];计算机学报;2018年08期
2 钟清流;蔡自兴;;基于统计特征的时序数据符号化算法[J];计算机学报;2008年10期
3 郑斌祥,杜秀华,席裕庚;一种时序数据的离群数据挖掘新算法[J];控制与决策;2002年03期
4 林芝,曹加恒,刘娟,韦丰;基于信息论网络的时序数据库挖掘[J];计算机工程与应用;2003年01期
5 朱明,蔡庆生;基于约束满足的相似时序数据的搜索算法[J];计算机工程;2000年01期
6 姜高霞;王文剑;;时序数据曲线排齐的相关性分析方法[J];软件学报;2014年09期
7 曾红月,姚敏;时序数据挖掘方法研究[J];计算机工程与设计;2004年11期
8 祝小莲,舒勤;时序数据库中部分周期模式的挖掘算法研究[J];通信技术;2003年12期
9 黄雄波;;多周期时序数据的傅氏级数拟合算法[J];计算机系统应用;2015年07期
10 关云鸿;杨静;;高维时序数据的相似搜索[J];贵州大学学报(自然科学版);2006年01期
11 张荣明;邹湘军;顾邦军;罗陆锋;周艳琼;;基于探索性分析的时序数据研究[J];系统仿真学报;2006年S2期
12 贾素玲;陈当阳;姜浩;;时序数据挖掘中的数据表示算法[J];计算机工程与应用;2006年29期
13 孙颂恩;施润身;;时序数据中弱限制周期模式的挖掘[J];计算机辅助工程;2005年04期
14 蒋良孝,蔡之华;时序数据库中的数据挖掘研究[J];微机发展;2003年05期
15 王大治,李曼,王嘉许;从时序数据库中挖掘频繁部分周期模式的高效算法[J];许昌学院学报;2003年02期
16 叶晴;;集思特思发布新一代时序数据产品TSM7[J];中国水利;2009年04期
17 郑斌祥,杜秀华,席裕庚;时序数据相似性挖掘算法研究[J];信息与控制;2002年03期
18 彭宏;基于小波变换的时序数据相似性挖掘[J];西华大学学报(自然科学版);2005年01期
19 黄建设;;基于时序数据库的转移规则挖掘算法研究[J];计算机仿真;2008年06期
20 钟清流;蔡自兴;杨先芬;陈明权;;时序数据的矢量化符号方法[J];小型微型计算机系统;2008年12期
中国重要会议论文全文数据库 前2条
1 张荣明;邹湘军;顾邦军;罗陆锋;周艳琼;;基于探索性分析的时序数据研究[A];中国系统仿真学会第五次全国会员代表大会暨2006年全国学术年会论文集[C];2006年
2 曹晖;司刚全;张彦斌;贾立新;;基于模糊时序数据挖掘的火电厂制粉系统优化算法[A];2007'仪表,自动化及先进集成技术大会论文集(一)[C];2007年
中国博士学位论文全文数据库 前3条
1 何周舟;基于时序数据的结构学习与模式预测联合优化算法研究[D];浙江大学;2016年
2 白天;连分式方法在脉冲去噪、时序数据压缩及视频镜头检测中的应用研究[D];合肥工业大学;2014年
3 钟清流;时序、图像特征检测的理论、方法及应用研究[D];中南大学;2008年
中国硕士学位论文全文数据库 前10条
1 籍姣荣;基于仿射变换的时序数据信息处理方法研究[D];黑龙江大学;2018年
2 冯康;时序数据在线分类与规则发现[D];华中科技大学;2016年
3 周强;时序数据挖掘在经济领域中的应用研究[D];合肥工业大学;2005年
4 秦臻;基于非负矩阵分解的时序数据聚类方法[D];哈尔滨工业大学;2016年
5 张元;基于智能决策支持的时序数据挖掘系统的研究[D];华北工学院;2004年
6 花珊;面向时序数据流的分布式缓存系统设计与实现[D];中山大学;2014年
7 郝飞;基于粗糙集的时序数据挖掘及其应用[D];西华大学;2008年
8 王国瑞;基于循环神经网络的时序数据聚类算法及其并行化[D];哈尔滨工业大学;2017年
9 赵国庆;基因表达时序数据聚类和比对分析方法研究[D];苏州大学;2011年
10 王丹;基于Hadoop平台的时序数据处理方法研究[D];中国科学技术大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978