基于模糊深度Q网络的放煤智能决策方法
杨艺1
王圣文2
崔科飞3
费树岷4
1.河南理工大学电气工程与自动化学院,河南焦作 454003;河南理工大学河南煤矿装备智能检测与控制重点实验室,河南焦作 454003;郑州煤矿机械集团股份有限公司,河南郑州 450000;郑州煤机液压电控有限公司,河南郑州 4500132.河南理工大学电气工程与自动化学院,河南焦作 454003;河南理工大学河南煤矿装备智能检测与控制重点实验室,河南焦作 4540033.郑州煤矿机械集团股份有限公司,河南郑州 450000;郑州煤机液压电控有限公司,河南郑州 4500134.东南大学 自动化学院,江苏南京 210096
摘要：在综放工作面放煤过程中,由于煤尘和降尘水雾对工作人员视线的影响,人工控制放煤存在过放、欠放问题.针对该问题,将液压支架尾梁看作智能体,把放煤过程抽象为马尔可夫最优决策,利用深度Q网络(DQN)对放煤口动作进行决策.然而DQN算法中存在过估计问题,因此提出了一种模糊深度Q网络(FDQN)算法,并应用于放煤智能决策.利用放煤过程中煤层状态的模糊特征构建模糊控制系统,以煤层状态中的煤炭数量和煤矸比例作为模糊控制系统的输入,并将模糊控制系统的输出动作代替DQN算法采用max操作选取目标网络输出Q值的动作,从而提高智能体的在线学习速率和增加放煤动作奖赏值.搭建综放工作面放煤模型,对分别基于DQN算法、双深度Q网络(DDQN)算法、FDQN算法的放煤工艺进行三维数值仿真,结果表明:FDQN算法的收敛速度最快,相对于DQN算法提高了 31.6％,增加了智能体的在线学习速率;综合煤矸分界线直线度、尾梁上方余煤和放出体中的矸石数量3个方面,基于FDQN算法的放煤效果最好;基于FDQN算法的采出率最高、含矸率最低,相比基于DQN算法、DDQN算法的采出率分别提高了 2.8％,0.7％,含矸率分别降低了 2.1％,13.2％.基于FDQN算法的放煤智能决策方法可根据煤层赋存状态对液压支架尾梁动作进行调整,较好地解决了放煤过程中的过放、欠放问题.
关键词：综放工作面智能放煤深度强化学习模糊深度Q网络模糊控制马尔可夫
分类号：TD823.97/67(矿山开采)
资助基金：河南省科技攻关计划项目(212102210390)河南省煤矿智能开采技术创新中心支撑项目(2021YD01)
论文发表日期：2023-04-10
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：8( 78-85 )
英文信息