基于N-Gram算法的数据清洗技术
马平全1
宋凯1
纪建伟2
1.沈阳农业大学 信息与电气工程学院，沈阳 110866; 沈阳理工大学 自动化与电气工程学院，沈阳 1101592.沈阳农业大学 信息与电气工程学院,沈阳,110866
摘要：针对数据库中存在的大量相似重复数据，对相似重复记录的属性结构以及产生原因进行了分析，采用N-Gram算法对数据记录进行计算，得到代表每条记录属性的键值，即N-Gram值。依据该键值将数据库中的数据记录进行排序处理，建立有序的数据库，并对其中的数据记录进行相似度计算。运用排列合并的清洗思想对识别出来的相似重复数据记录进行清洗，实验结果表明， N-Gram算法有效提高了相似重复数据记录的查全率和查准率。
关键词：相似度相似重复记录属性排序合并数据清洗查全率查准率
分类号：TP311.11(计算技术、计算机技术)
资助基金：辽宁省教育厅科学研究项目(LG201610)
论文发表日期：2017-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 67-72 )
英文信息