边缘受限条件下大模型部署优化技术发展
张明轩
零八一电子集团四川力源电子有限公司 广元 628017
摘要：大型语言模型(LLMs)由于参数量大以及处理的上下文信息长等特点,在边缘受限计算环境下如何部署与优化已经成为重要的挑战.通过汇总共享存储空间、激活函数优化、注意力机制优化、相对位置编码优化、自动混合精度训练、量化技术等方面的主要优化方法,分析了在ROCm开源框架和HIP编程模型上的大模型优化实践成果以及对模型性能的影响.通过总结这些技术的特点,以及在开源框架下的探索,为实现大模型在边缘计算环境下显著提升计算和存储效率以及国产化应用部署提供了新的思路.
关键词：大型语言模型边缘计算条件受限部署与优化开源框架
分类号：TP39(计算技术、计算机技术)
论文发表日期：2025-11-20
在线出版日期：2026-01-28（本平台首次上网日期，不代表文献的发表时间）
页数：5( 3198-3201,3263 )
英文信息