基于TVM的算子融合调度策略研究
李明
邢亮
李振彦
李中武
王蝶
张文豪
中国航空工业集团公司西安航空计算技术研究所 陕西西安 710000
摘要：针对自然语言处理领域中广泛存在的Embedding Lookup与Sum算子结构,文章通过研究其在TVM编译器框架下的高性能融合调度策略,深入分析该组合算子的计算特征与数据依赖关系,结合CPU与GPU不同的硬件体系结构特点,分别设计了面向缓存层次和向量化执行的CPU调度策略,以及基于线程层次映射和显存带宽优化的GPU调度策略,实现了算子深度融合.实验结果表明,与TVM默认调度及PyTorch 2.5的原生实现相比,文章设计的融合调度内核在CPU和GPU平台上平均取得了良好的加速效果,有效减少了中间数据读写开销,显著提升了嵌入层操作的执行效率,为TVM支持领域特定算子优化提供了有效的调度模板与实验依据,对提升Transformer类模型的推理性能具有实用意义.
关键词：算子融合调度优化自然语言处理内核实现推荐系统
论文发表日期：2025-12-25
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：5( 59-63 )