面向煤矿AI应用的多源异构数据分层分类仓储技术
张智星1
付翔2
张小强1
秦一凡1
黄金宇1
杨宇琪1
贾一帆1
1.太原理工大学矿业工程学院,山西太原 0300242.太原理工大学矿业工程学院,山西太原 030024;山西焦煤集团有限责任公司 博士后工作站,山西太原 030024;智能采矿装备技术全国重点实验室,山西太原 030024
摘要：在煤矿智能化转型进程中,多源异构数据呈爆发式增长,但煤炭企业对这些数据的应用仍停留在可视化的初级阶段,且面临三大瓶颈:数据结构多样难以统一存储,阻碍AI应用的数据关联分析;数据质量参差不齐,导致AI模型无法直接有效分析;数据体量庞大,造成数据查询与分析效率低,严重制约智能应用落地.针对上述问题,提出了一种面向煤矿AI应用的多源异构数据分层分类仓储技术,该技术框架主要由Flink数据流处理服务、数据分层存储、数据分类存储、AI模型应用服务、主数据及元数据管理构成.Flink数据流处理服务是数据的核心处理单元,主要实现井下各子系统(综采、掘进、主运输、综合保障等)实时数据的脏数据清理、异常值填充、数据格式统一等处理,为后续面向煤矿AI应用的特征值快速计算及模型的有效应用提供标准数据条件.数据分层存储完成海量多源异构数据的分级编码与结构化整合后,存储到数据分类存储体系中.通过主数据及元数据管理,确保关键数据的一致性与完整性,并实现数据语义的清晰明确表达,为AI模型应用提供清晰明确的数据信息保障.测试结果表明:该技术可以实现海量多源异构数据的合理分层分类存储、不同类型数据与对应存储介质的精准匹配.煤矿现场应用结果表明:应用该技术后,工业数据平均查询延迟降低到1.1 s,数据质量合格率提高到93％,占用内存大的非结构化数据由高成本的高频存储转为低成本分布式存储.
关键词：煤矿AI应用多源异构数据煤矿工业数据数据分类存储数据分层存储Flink数据流处理AI模型应用主数据及元数据管理
分类号：TD67(矿山电工)
资助基金：国家自然科学基金(52274157)国家自然科学基金(52574199)山西省基础研究计划联合资助项目(202403011241002)
论文发表日期：2025-09-30
在线出版日期：2025-10-27（本平台首次上网日期，不代表文献的发表时间）
页数：7( 18-24 )
英文信息