关于重复记录数据清理算法研究
蔡钟杰
雷斌
张伟
1.兰州交通大学 机电技术研究所,甘肃 兰州,7300702.兰州交通大学 机电技术研究所,甘肃 兰州,7300703.兰州交通大学 机电技术研究所,甘肃 兰州,730070
摘要：本文改进了重复记录清理算法中所存在的缺陷。改进后的算法，有较好的记录的匹配率保证，而且显著提升了记录排序的效率；在重复记录识别时，考虑了以下五个因素：匹配字段的文字数量、在二个字段中出现的频率、在记录中各字段的权重、中文字段的语义以及语义重点偏后；合并重复记录时采用的策略是聚类和实用算法并用，算法的准确性和健壮性得到了提高。
关键词：记录排序重复记录清理重复记录识别
资助基金：兰州交通大学青年基金项目(2011013)国家科技支撑计划项目(2012BAH20F05)
论文发表日期：2013-01-01
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：4( 32-34,40 )
英文信息