基于"图像-光谱"联合特征的舌苔分类方法研究
张雅涵1
春意1
崔龙涛1
屠立平1
江涛1
胡晓娟2
崔骥1
邱锡鹏3
许家佗1
1.上海中医药大学中医学院,上海 2012032.上海中医药大学上海中医健康服务协同创新中心,上海 2012033.复旦大学计算机学院,上海 200438
摘要：目的 本研究旨在融合舌苔图像特征与光谱信息,利用机器学习模型提升舌苔分类的准确性和可靠性,为中医舌诊提供数字化支持.方法 采用"TFDA-1型舌面诊仪"采集中医舌象图像特征,PG2000-PRO-EX光纤光谱仪采集舌苔的光谱数据.对数据进行整理和筛选后共获得1023 例舌象数据:白苔 692 例、黄苔 261 例、灰黑苔37 例;腻苔358 例、厚苔 473 例、薄苔 455 例、剥苔 95 例.以图像特征和光谱信息为基础,构建深度学习模型,该模型结合残差网络(ResNet50V2)和一维卷积神经网络(Conv1D),通过特征融合与全连接层实现舌苔分类.再利用梯度加权类激活映射(Grad-CAM)对ResNet50V2 模型的关键特征区域进行可视化,并通过随机森林方法评估光谱波段的特征重要性,揭示图像与光谱信息在舌苔分类中的作用.结果 单独基于图像特征的分类模型在腻苔判别和舌苔厚度分类上的准确率分别为 0.869 和 0.807;引入光谱信息后,准确率分别提升至 0.935 和0.895,表明特征层融合增强了这两类特征的分类性能.舌苔颜色分类在引入光谱信息后分类性能无显著提升,准确率为 0.864.Grad-CAM热力图显示舌苔颜色、腻苔判别及厚度分类的关键区域分别集中于苔面、舌边及舌外侧或剥落处.随机森林的重要性评分显示白苔、黄苔、灰黑苔在 380~510 nm差异显著,腻苔整体反射率偏高,剥苔至厚苔在400~600 nm逐渐增强.结论 本研究通过整合舌苔图像与光谱数据的多模态信息,结合深度学习模型的应用,提高了腻苔判别和舌苔厚度分类的准确性.
关键词：中医舌诊舌苔分类图像特征光谱信息特征融合
分类号：R241.25(中医临床学)TP391.41(计算技术、计算机技术)TP18(自动化基础理论)
资助基金：国家自然科学基金(82104738)国家自然科学基金(82004258)国家中医药管理局中医药重点学科建设(ZYYZDXK-2023069)中国博士后科学基金面上项目(2023M732337)上海市卫生健康委员会卫生行业临床研究专项(20244Y0129)
论文发表日期：2025-12-28
在线出版日期：2026-01-07（本平台首次上网日期，不代表文献的发表时间）
页数：7( 2156-2162 )
英文信息