大规模人群行为分析数据的二级索引方案设计
康志文
房鹏
郑明钊
李瑶
高宗宝
周波
中国移动通信集团设计院有限公司山东分公司 山东济南 250000
摘要：大规模人群行为数据,是通过高清摄像头采集的公共场所行人的群像数据,采集到的原始数据需要进一步进行数据分析,进而判断大规模人群的下一步动作.而Hbase作为知名Nosql数据库,无法有效的支撑根据多条件精准定位,亦不适用于大范围扫描查询.针对Hbase的以上特性,设计了一种基于Elasticsearch的二级索引方案.使用Kafka、Elasticsearch以及Hbase搭建了一套高效的数据采集,数据查询和数据分析的海量数据平台架构;利用Elasticsearch的高效、多条件的检索功能,实现对Hbase的TB级别数据量的多条件快速查询,协同解决了对大规模人群行为分析数据的问题.
关键词：大数据二级索引快速检索ElasticSearch
资助基金：山东省重点研发计划(2019GSF111054)山东省重点研发计划(2019GGX104095)创新工程项目(2019JZZY010120)
论文发表日期：2021-11-28
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：3( 16-18 )