基于Hadoop生态圈的选煤数据中台设计
赵鑫
王然风
付翔
太原理工大学矿业工程学院,山西太原030024
摘要：针对现有选煤厂信息管理系统采用的接口不规范,导致数据重复采集,且各系统相互独立,对多源异构数据处理能力弱等问题,基于Hadoop生态圈大数据技术,提出了一种基于Hadoop生态圈的选煤数据中台设计方案.通过主数据管理系统、企业服务总线定义数据标准实现系统集成;设计归一化、相关系数矩阵和噪声异常点检测程序实现数据处理;结合D-S(Dempster-Shafer)证据理论、Hadoop与Hive数据仓库设计多源异构数据融合子系统,实现数据融合;利用Highcharts数据可视化组件实现数据交互式的可视化展示.实际应用结果表明,该数据中台实现了主数据定义标准与系统集成接口规范化,提高了选煤数据处理能力,实现了多源异构选煤数据融合共享、数据实时交互式的可视化展示.
关键词：选煤厂智能化Hadoop生态圈数据中台大数据多源异构数据数据融合D-S证据理论
分类号：TD948(选矿)
资助基金：山西省应用基础研究计划重点自然基金项目(201901D111007)共性技术研发攻关专项项目(2020XXX004)
论文发表日期：2021-12-10
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 121-127 )
英文信息