通用数据并行处理框架设计与实现
王磊
浙江传媒学院全媒体中心 浙江杭州310018
摘要：传感数据量的大幅增长,势必需要具备高性能计算能力的传感数据处理系统.针对现有大规模数据处理时面临的问题,本文提出搭建基于C++、面向数据处理的通用并行处理框架,主要目标是为业务数据处理提供高效的基础环境.并行处理框架以接口的方式向用户提供公共服务、业务接入服务、业务调度服务、数据处理服务等,每个服务在设计上都遵循适应性、扩展性和易用性的要求.最后,以遥感影像数据还原处理为例搭建图像并行处理系统,验证了并行处理框架的有效性.
关键词：数据处理并行处理框架设计
分类号：C37(数据处理)
论文发表日期：2017-01-01
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：4( 12-15 )