CR-Drop:基于矫正正则化Dropout的多任务学习
肖洪湖
黄成泉
贵州民族大学数据科学与信息工程学院 贵州贵阳 550025
摘要：多任务学习(multi-task learning,MTL)在计算机视觉等应用场景中展现出卓越的性能,然而,在实践中由于模型在训练中所学习特征的随机性而导致推理能力低下.以往的多任务学习没有关心模型推理能力低下的问题,这增加了不必要的开销.为此,文章为MTL引入一种矫正网络,即CR-Drop(corrected regularized dropout).在这种方法中,STL(single-task learning)网络与MTL网络同时训练,以指导MTL训练过程中通用特征的学习.为了高效实现CR-Drop,使用改进的线上知识蒸馏(IOKD)作为模型架构.同时,使用梯度操纵方法FAMO(fast adaptive multitask optimization)平衡任务损失.在NYUv2数据集上的实验结果表明,所提方法比基准模型分别提高了 8.48％和8.64％,矫正网络CR-Drop 可以学习到更具泛化性的特征,从而缩小训练与推理之间的差距,提高资源利用率.
关键词：推理能力矫正网络改进的线上知识蒸馏多任务学习
论文发表日期：2026-01-25
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：4( 149-152 )