基于双经验回放池TD3算法的PID参数优化
钟皓俊
王振雷
华东理工大学能源化工过程智能制造教育部重点实验室,上海 200237
摘要：PID控制器在工业控制领域应用广泛,其参数的选择过度依赖于人工经验,效率低且过程繁琐.近年来,深度强化学习因其具有对复杂环境自学习的能力,在很多领域取得了成功应用.本文提出一种基于双经验回放池双延迟深度确定性策略梯度(TD3)算法的PID参数优化方法,利用深度强化学习的方法,自主优化PID控制器的参数.在整个优化过程中,将控制问题视为序列决策过程,通过设计智能体的状态、动作空间以及网络结构,将PID参数的优化过程转化为强化学习策略网络权重的更新过程.同时,针对TD3算法训练前期探索效率低的问题,在TD3算法的基础上,增加双经验回放池机制,提升了算法训练前期的效率.最后,在二阶系统和一阶加纯时滞系统上进行仿真验证,并与基于粒子群优化(PSO)算法优化PID参数的方法进行对比,实验结果表明,所提算法优化得到的PID参数在控制器上体现的控制性能要优于PSO算法.
关键词：PID参数优化深度强化学习TD3
论文发表日期：2026-01-30
在线出版日期：2026-02-05（本平台首次上网日期，不代表文献的发表时间）
页数：10( 139-148 )
英文信息