基于改进GBML-DQN算法的单点交叉口自适应信号控制
李千1
周文财1
李永琪2
1.江苏理工学院 汽车与交通工程学院,江苏 常州 213001;常州大学 绿色过程装备江苏省高校重点实验室,江苏 常州 2131642.江苏理工学院 汽车与交通工程学院,江苏 常州 213001
摘要：针对固定信号配时在动态交通流环境下适应性不足的问题,提出一种融合元学习机制的改进梯度元学习深度Q网络(Gradient-Based Meta-Learning Deep Q-Network,GBML-DQN)算法,以实现单点交叉口自适应信号控制.首先,基于车道密度构建状态空间,定义信号相位动作空间,并设计多目标加权奖励函数.其次,以DQN为基础架构,利用元梯度策略动态调整折扣因子γ.再次,采用Dueling结构分离状态值与动作优势,以NoisyNet替代传统ε-贪婪策略,分别构建了改进的GBML-DQN-Dueling(Improved GBML-DQN-Dueling,I-GD-D)和改进的 GBML-DQN-Noisy(Improved GBML-DQN-Noisy,I-GD-N)算法;最后,在SUMO仿真平台上进行高、中、低3类流量场景的实验验证.实验结果表明:I-GD-N在不同流量场景下均展现出更优的鲁棒性与自适应能力,在中流量且采用随机梯度下降(Stochastic Gradient Descent,SGD)优化器的情况下,平均延误降低至20.55 s,较DQN提升约20%;在中、低流量场景中,DQN因其结构简洁,稳定性高于GBML-DQN,在高流量场景或使用均方根传播(Root Mean Square Propagation,RMSprop)优化器时,DQN出现显著策略退化,其表现甚至低于固定信号配时;动态γ调整机制能依据交通强度自适应优化,在高流量场景下通过降低γ快速响应拥堵,效果显著优于固定γ策略.研究成果可为城市交叉口信号控制提供参考.
关键词：交通信号控制强化学习智能交通SUMO改进GBML-DQN
分类号：U491.54(交通工程与公路运输技术管理)
论文发表日期：2025-12-30
在线出版日期：2026-02-02（本平台首次上网日期，不代表文献的发表时间）
页数：16( 110-125 )
英文信息