基于改进PPO算法的钻锚机器人机械臂路径规划
张旭辉1
田琛辉2
雷孟宇1
杨文娟1
田江伟3
董征2
田思昊2
1.西安科技大学 机械工程学院,陕西 西安 710054;陕西省矿山机电装备智能检测与控制重点实验室,陕西 西安 7100542.西安科技大学 机械工程学院,陕西 西安 7100543.西安煤矿机械有限公司,陕西 西安 710200
摘要：煤矿巷道支护装备的自动化与智能化水平较低,制约了煤矿巷道的成形效率,是造成"采掘失衡"的关键原因.为解决煤矿巷道支护装备自动化程度低、支护效率差的问题,针对一种集成悬臂式掘进机和多自由度机械臂的钻锚机器人,提出了一种基于深度强化学习的钻锚机器人机械臂路径规划方法.在虚拟环境中构建煤矿巷道环境,并建立机械臂与机身、煤壁以及支护钢带的碰撞检测模型,使用层次包围盒法在虚拟环境进行碰撞检测,形成煤矿巷道边界受限情况下的避障策略.在近端策略优化(Proximal Policy Optimization,PPO)算法的基础上结合多方面因素提出改进.考虑到多自由度机械臂状态空间输入长度不固定的情况,引入长短记忆神经网络(Long Short Term Memory,LSTM)的环境状态输入处理方法,可以提升算法对环境的适应能力.并且在奖惩稀疏的情况下引入了好奇心机制(Intrinsic Curiosity Module,ICM),通过给予内在奖励鼓励智能体更大程度地探索环境.基于奖惩机制建立智能体,根据钻锚机器人的运动特性定义其状态空间与动作空间,在同一场景下分别使用 2种算法对智能体进行训练,综合奖励值、回合步数、Actor网络损失值、Critic网络损失值等指标进行对比分析,最后经过仿真消融实验测试对比.实验结果表明,在原始PPO算法不能完成任务的情况下,改进后的算法路径长度比同样能完成任务的PPO-ICM算法缩短了 3.98%,所用时间缩短了 25.6%.为进一步验证改进后算法的鲁棒性,设计多组实验,改进后的PPO算法均完成路径规划任务,路径终点与目标位置的距离误差在3.88 cm之内,锚杆与竖直方向夹角误差在 3°以内,能够有效完成路径规划任务,提升煤矿巷道支护系统的自动化程度.结果验证了所提方法在煤矿井下巷道支护时锚孔位置多变的情况下钻锚机器人多自由度机械臂在路径规划的可行性与有效性.
关键词：巷道支护钻锚机器人碰撞检测路径规划改进PPO算法
分类号：TP242(自动化技术及设备)
资助基金：国家自然科学基金(52504173)国家自然科学基金(52574204)陕西省重点研发计划资助项目(2024CY2-GJHX-35)
论文发表日期：2025-12-31
在线出版日期：2026-01-16（本平台首次上网日期，不代表文献的发表时间）
页数：14( 5420-5433 )
英文信息