基于大语言模型的多路径一致性蒸馏
蔡丽琼
霍雨佳
袁赛仙
贵州民族大学数据科学与信息工程学院 贵州贵阳 550025
摘要：提升小型语言模型在复杂推理任务中的表现,是当前自然语言处理领域的一个关键挑战.基于此,文章提出了一种基于知识蒸馏的推理增强方法(CGRD),旨在提升学生模型在复杂推理任务中的表现.具体而言,采用GPT-3.5-turbo-instruct作为教师模型,通过API调用生成多样化的推理路径,从中筛选出一致性最高的路径用于指导学生模型的训练.实验结果表明,CGRD方法在AddSub和Date Understanding两个数据集上均显著优于传统的方法.还使教师模型在AddSub和Date Understanding数据集上的准确率分别提升了 15.11和10.05个百分点,更重要的是,在GPT-2和T5等不同架构的一系列小规模学生模型上均取得了一致性的性能提升,充分证明了 CGRD在增强小模型推理能力方面的有效性,通过提升教师模型生成推理路径的质量,有效增强了学生模型的推理能力和任务表现.
关键词：蒸馏大型语言模型思维链一致性推理
资助基金：贵州民族大学自然科学研究基金(GZMUZK(2021)YB22)
论文发表日期：2026-01-25
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：4( 130-133 )