基于Storm的实时海量轨迹数据查询系统设计
谢小丽1
卢山2
1.武汉邮电科学研究院 武汉 430074;南京烽火软件科技有限公司 南京 2100192.南京烽火软件科技有限公司 南京 210019
摘要：大数据环境下,互联网及其它行业领域中时刻都在涌现出海量数据并快速增长,传统的查询系统框架存在着数据量增大时无法满足用户实时查询的需求.提出了一种基于Storm的海量轨迹数据实时查询系统设计方法,采用分布式实时计算系统Storm平台对实时海量轨迹进行处理,利用CQL语句对数据流实时查询,对于轨迹数据量较大情况下引起的系统利用率问题,采用动态负载均衡算法对本查询系统进行负载均衡,针对数据量过大超出系统处理上限的问题,设计了一种过载处理方法.通过具体业务数据对该系统进行性能测试,测试结果表明实时查询系统所面临的负载均衡问题得到了有效的改善,系统的实时性得到了明显的提高,能够满足海量轨迹数据的实时查询需求.
关键词：海量数据Storm查询系统负载均衡
分类号：TP391(计算技术、计算机技术)
论文发表日期：2018-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 1580-1584,1672 )
英文信息