基于自适应分层梯度压缩的分布式训练通信优化方法
王晓晓
朱晓娟
安徽理工大学 计算机科学与工程学院,安徽 淮南 232001
摘要：针对分布式机器学习场景中,多个计算节点和参数服务器节点之间频繁传输参数和梯度导致通信开销较大、模型训练效率较低的问题,提出基于自适应分层梯度压缩(adaptive layered gradient compression,ALGC)的通信优化方法.首先,为每层神经网络设置 1 个合适的压缩阈值,选择性地压缩大于该阈值的层;其次,为被选择压缩的每层单独设定稀疏阈值,并动态调整该阈值,实现对每层梯度传输的自适应压缩;最后,将计算与通信重叠,利用参数服务器汇总每层的梯度和梯度残差完成对全局模型的更新.结果表明,ALGC方法的训练准确率最高可达 95.07%,并且实现了最短收敛时间和最大加速比.ALGC方法在保证模型训练准确率的同时,对于提升模型训练速度和降低通信开销具有重要作用.
关键词：分布式机器学习梯度压缩参数服务器稀疏化通信优化
分类号：TP183(自动化基础理论)
资助基金：安徽省高校省级自然科学研究重点项目(KJ2020A0300)
论文发表日期：2025-03-19
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 34-40 )
英文信息