HSIT:一种针对海量数据的分布式相似性查询索引
姚回1
刘文2
1.新疆师范大学计算机科学技术学院 乌鲁木齐 8300542.新疆工程学院控制工程学院 乌鲁木齐 830023
摘要：相似性查询常用于信息检索、生物学和网络安全等领域,用来分析数据之间的关联关系.传统方法执行相似性查询往往需要查询点与数据库中的每一条数据进行计算.随着数据量的增大,计算量会成线性式增长.为提升海量数据的分布式相似性查询效率,提出一种基于HBase的相似性查询索引结构HSIT(HBase Similarity Index Tree).在数据存储的过程中,该算法实现动态建立相似性索引树结构.HSIT索引能够按照相似度阈值,划分相似性的数据在HBase的相邻区域存储;在用户执行相似性查询时,查询节点可以通过HSIT快速检索相似区域.该索引能够实现高效剪枝,使得只有相似的区域才需要两两计算.通过2万条数据指数型增长到128万条数据执行相似性查询,与DSCS-LTS算法比较,实验结果证明,HSIT算法效率有所提升.
关键词：海量数据分布式相似性查询索引HBase
分类号：P413(大气探测（气象观测）)
资助基金：国家自然科学基金(61962058)新疆维吾尔自治区自然科学基金(2019D01A30)数据工程与数字矿山联合实验室项目(2019QX0035)新疆维吾尔自治区高校科研计划自然科学项目(XJEDU2018Y056)
论文发表日期：2025-03-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 718-724 )
英文信息