一种基于关联数据的科技项目查重系统
李善青
安淑荻
邢晓昭
中国科学技术信息研究所 北京 100038
摘要：论文提出了一种基于关联数据的科技项目查重系统,通过整合与科技项目密切相关的项目任务书、科技论文、科技报告和科技成果等信息,建立科技项目的描述模型.采用改进的TextRank算法从摘要和标题等短文本中抽取关键词构建特征向量,并提出了项目相似度的判别方法.利用Hadoop和Spark的分布式计算框架,实现了项目查重系统并进行了相关的实验.结果证明了该方法的有效性和可行性,在给定的实验条件下取得了较高的准确率和召回率.
关键词：关联数据科技项目查重数据挖掘多源信息整合Hadoop架构
分类号：TP301.6(计算技术、计算机技术)
资助基金：国家自然科学基金(71303223)中国科学技术信息研究所创新研究基金项目(QN2020-01)
论文发表日期：2022-05-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：5( 959-963 )
英文信息