基于增量文本聚类算法的热点话题检测研究
魏艺泽
郭慧
时晓旭
华北科技学院 计算机学院,北京 东燕郊 065201
摘要：针对传统TF-IDF方法提取文本特征时无法增量更新以及传统Single-Pass算法聚类准确率较低的问题,本文通过使用已有的语料库来设置IDF表并更新的方法,来减少TF-IDF计算时对语料库的依赖性,通过均值计算簇中心来提高Single-Pass算法在聚类时的准确率.利用各大平台获取的新冠肺炎新闻数据对模型进行验证.结果表明,该方法使得传统的TF-IDF提取关键词时可以增量更新,利用改进的 Single-Pass 算法使得综合评价指标提高了 8.64%.相对于传统的Single-Pass算法,改进的Single-Pass算法只需要与一部分候选簇进行比较,有效地降低了比较次数,提高了聚类的准确性以及效率.
关键词：Single-Pass文本聚类文本相似度热点话题检测TF-IDF
分类号：TP391(计算技术、计算机技术)
资助基金：科技创新重大项目(2021ZD0114203)国家社会科学基金(21BSH072)
论文发表日期：2024-02-28
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 76-81,124 )
英文信息