综采工作面海量数据挖掘分析平台设计
王宏伟1
杨焜2
付翔2
李进3
贾思锋2
1.太原理工大学 山西省煤矿智能装备工程研究中心,山西 太原 0300242.太原理工大学 山西省煤矿智能装备工程研究中心,山西 太原 030024;太原理工大学 矿业工程学院,山西 太原 0300243.太原理工大学 山西省煤矿智能装备工程研究中心,山西 太原 030024;太原理工大学 机械与运载工程学院,山西 太原 030024
摘要：当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大,导致综采数据利用率低,无法辅助管理层实时下发决策指令.针对上述问题,设计了一种综采工作面海量数据挖掘分析平台.该平台由数据源层、数据采集存储层、数据挖掘层和前端应用层组成.数据源层由工作面各类硬件设备提供原始数据;数据采集存储层使用OPC UA网关实时采集井下传感器监测信息,再通过MQTT协议和RESTful接口将数据存入InfluxDB存储引擎;数据挖掘层利用Hive数据引擎和Yarn资源管理器筛选数据采集过程中受工作现场干扰形成的异常数据,解决因网络延时导致的数据局部采集顺序紊乱问题,并利用Spark分布式挖掘引擎挖掘工作面设备群海量工况数据的潜在价值,提高数据挖掘模型的运行速度;前端应用层利用可视化组件与后端数据库关联,再通过AJAX技术与后端数据实时交互,实现模型挖掘结果和各类监测数据的可视化展示.测试结果表明,该平台能够充分保证数据采集的实时性与完整性,清洗效率较单机MySQL查询引擎提升5倍,挖掘效率较单机Python挖掘引擎提升4倍.
关键词：综采工作面海量数据数据挖掘数据采集数据存储数据清洗数据可视化
分类号：TD67(矿山电工)
资助基金：国家自然科学基金(52274157)山西省揭榜招标项目(20201101005)科技兴蒙行动重点专项项目(2022EEDSKJXM010)
论文发表日期：2023-05-10
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：8( 30-36,126 )
英文信息