收藏本站
收藏 | 投稿 | 论文排版

FJoin:一种基于FPGA的流连接并行加速器

林力韬  陈汉华  金海  
【摘要】:流连接广泛应用于提取多源流数据之间的关键信息,是大数据处理的重要支撑技术.但连接两条大数据流时大规模的连接谓词计算,使其易成为性能瓶颈.为提高处理性能,流连接系统常采用并行和分布式两种方式扩展.然而,采用多核并行的流连接系统的扩展性受到CPU核数限制,无法应对大规模数据流.采用分布式扩展的流连接系统由于引入分布式框架运行的开销,导致硬件处理效率严重下降.为实现高效大规模扩展,本文提出一种利用FPGA加速器外设向上扩展的流连接系统FJoin.加速器可进行高并行的流动连接,载入多个流元组后,连接窗口中的数据流经一次即可完成所有连接计算.对于逻辑容易在FPGA实现的连接谓词,通过大量基本连接单元串联构成深度连接流水线,实现大规模并行.通过主机CPU和FPGA设备协同进行连接控制,将连续的流连接计算划分为独立的小批量任务,高效地保证并行化流连接的完整性.在装备FPGA加速卡的平台实现了FJoin,基于大规模真实数据集的测试结果表明,对比部署在40个节点集群上的目前最好的分布式流连接系统,本文提出的流连接加速器FJoin可在单一FPGA加速卡上将连接计算速度提升16倍,达到5倍的系统吞吐,且时延满足实时流处理要求.

知网文化
【相似文献】
中国期刊全文数据库 前18条
1 张坤宁;赵烁;孙庆斌;邓宁;何虎;;基于FPGA的多核可扩展卷积加速器设计[J];计算机工程与设计;2021年06期
2 Amit Dhir;;确定WiMAX系统中基于FPGA加速器的软硬件分工[J];电子设计技术;2006年10期
3 张浩鹏;罗小华;;一种基于FPGA的互相关函数加速器设计[J];江南大学学报(自然科学版);2014年03期
4 于晓娟;吴迅雷;蒋振柏;孟鸣凤;;一种辐照加速器用电子枪的结构设计[J];核技术;2011年01期
5 孙铁平;吴撼宇;丛培天;;用于“强光一号”加速器的预脉冲抑制结构[J];现代应用物理;2019年04期
6 刘声;韩俊刚;韩帅;;引导滤波的软硬件协同加速器设计与实现[J];电子技术应用;2016年11期
7 刘朋;李斌;常迎辉;郝亚男;赵月明;;基于eFPGA的通信基带加速器的逻辑重构设计[J];计算机测量与控制;2020年02期
8 余国龙;吕卫星;;激光测距传感器在无损检测加速器装置中的应用[J];中国原子能科学研究院年报;2008年00期
9 ;英国自由电子激光加速器CLARA成功产生一枚电子[J];安装;2017年11期
10 吴志勇;高世杰;;基于RocketIO的光纤旋转连接系统的实现[J];计算机测量与控制;2008年03期
11 浅利正敏 ,开本亮 ,吴健昌;采用RFQ加速器的高能离子注入机[J];微细加工技术;1990年04期
12 萧嘉乐;梁东宝;陈弟虎;粟涛;;基于FPGA的高效可伸缩的MobileNet加速器实现[J];计算机工程与科学;2021年04期
13 ;飞思卡尔推出业界第一款支持3G-LTE、WiMAX、HSPA+和TDD-LTE基站等新兴无线技术的多标准加速器[J];电子技术应用;2008年09期
14 黄养元;李跃增;;10MeV强流电子直线加速器的现场安装与调试[J];真空电子技术;1992年05期
15 ;是德科技推出PXIe测量加速器,测量速度提升百倍[J];电子测量技术;2015年06期
16 卜海祥;杨华秋;段欣;陈利光;来金梅;鲍丽春;;基因算法加速器与芯片级进化研究[J];计算机工程;2011年07期
17 郭小波;杨光露;;基于BFS和FPGA-CPU的混合加速器设计[J];火力与指挥控制;2019年10期
18 钟建忠;刘列;李立民;文建春;;电感储能加速器运行中电磁辐射的实验研究[J];中国物理C;2008年S1期
中国博士学位论文全文数据库 前1条
1 王天祺;基于FPGA-Centric集群的加速器级并行体系结构研究[D];中国科学技术大学;2020年
中国硕士学位论文全文数据库 前11条
1 伍盛菲;面向蒙特卡罗计算的随机数生成FPGA加速器的研究与实现[D];上海交通大学;2013年
2 王飞;面向便携式应用的神经网络加速器设计[D];合肥工业大学;2020年
3 舒程昊;基于权重合并的CNN加速器设计与FPGA验证[D];东南大学;2020年
4 林博;面向嵌入式系统的MPEG-4解码加速器的设计和优化[D];东南大学;2006年
5 朱超阳;稀疏卷积神经网络FPGA加速器的设计与研究[D];浙江大学;2020年
6 吴成路;基于分组剪枝的CNN加速器设计与FPGA验证[D];东南大学;2020年
7 范宇杰;基于FPGA与深度学习的超燃冲压发动机测量监控方法研究[D];哈尔滨工业大学;2020年
8 武瑞利;基于增量量化的CNN加速器设计与FPGA验证[D];东南大学;2020年
9 郭凡;基于FPGA的图形发生器设计[D];上海交通大学;2009年
10 巫世弘;一种远程SoC仿真验证加速器的设计与实现[D];电子科技大学;2009年
11 蔡文轩;高能电子辐照加速器束下传输系统的设计与控制研究[D];合肥工业大学;2008年
中国重要报纸全文数据库 前2条
1 本报记者 李红;法国制成加速器超导元件[N];科技日报;2003年
2 吴晶晶;我国首台高能大功率电子辐照加速器系统装置建成[N];大众科技报;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978