基于滑动窗口的流数据并行处理方法
徐江1
张鸿宇2
李军怀2
冯连强1
王怀军2
1.中国重型机械研究院股份公司,陕西西安7100322.西安理工大学计算机科学与工程学院,陕西西安710048
摘要：物联网技术和工业互联网的发展,使得在复杂重型装备制造过程,可以采集大量的制造生产数据.为实时监测制造过程,需提高流数据的处理速度.本文通过分析现有的流数据处理引擎,结合基于分区与基于时间两种滑动窗口思想,构建单位时间周期下融合子流处理结果的滑动窗口模型,采取并行实时运算模式实现实时流数据处理.并基于Lambda架构设计了流数据处理平台,将数据处理分成批量处理平台与增量处理平台两部分,以应对数据的多样化需求.最后通过吞吐量和延迟分析,验证了基于滑动窗口的并行流数据处理方法可以满足复杂重型装备实时监测对数据实时性的需求.
关键词：实时监测流数据滑动窗口并行化
分类号：TP207(自动化技术及设备)
资助基金：国家重点研发计划(2018YFB1703000)国家自然科学基金(61971347)西安市科技计划(2020KJRC0093)
论文发表日期：2021-01-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：8( 29-36 )
英文信息