基于深度强化学习的车联网动态卸载成本优化
赵珊
贾宗璞
朱小丽
庞晓艳
谷坤源
河南理工大学 计算机学院,河南 焦作 454000
摘要：目的 为解决不完美信道车联网中任务卸载与资源分配的关键问题,降低计算成本,方法 结合不完美信道特征对基础的车联网任务卸载环境抽象化,联合优化任务卸载比、功率选择和服务器资源分配,建立所有用户的长期平均成本最小化问题模型.采用基于深度强化学习的动态卸载优化方案,同时考虑求解变量的连续性,提出优化的深度确定性策略梯度算法SP-DDPG(deep deterministic policy gradient with importance sampling and prioritized experience replay)求解问题模型.对比现有的一些深度强化学习方法,研究单一变量影响下SP-DDPG算法的运行表现,分别计算平均卸载成本和任务丢弃数2个重要指标.结果 所提算法与所设置的完全任务卸载算法F-DDPG与DDQN算法相比,任务平均卸载成本分别降低了约36.13%和44.02%,任务丢弃数至少下降了4.38%和9.76%;与部分卸载算法DDPG相比,任务平均卸载成本和任务丢弃数分别下降13.34%和3.17%.实验结果取多次运行后的平均值(时延及能耗权衡因子ω=0.5,信道估计精度值ρ=0.95),具有较好可靠性.结论 在复杂变化的不稳定车联网环境中,所提优化深度确定性策略梯度算法SP-DDPG,相较几种常规的深度强化学习算法任务计算成本更低,任务处理效果更好.
关键词：车联网部分卸载资源分配深度确定性策略梯度不完美信道
分类号：TP18(自动化基础理论)U495(交通工程与公路运输技术管理)
资助基金：国家自然科学基金(62276092)河南省高校青年骨干教师资助计划项目(2019GGJS061)
论文发表日期：2025-11-30
在线出版日期：2025-10-22（本平台首次上网日期，不代表文献的发表时间）
页数：10( 191-200 )
英文信息