多层感知器模型互反奇异性区域学习动态的理论分析
郭伟立1
魏海坤1
赵军圣2
张侃健1
1.东南大学自动化学院复杂工程系统测量与控制教育部重点实验室,江苏南京,2100962.东南大学自动化学院复杂工程系统测量与控制教育部重点实验室,江苏南京210096;聊城大学数学科学学院,山东聊城252059
摘要：多层感知器神经网络(MLPs)的学习过程经常发生一些奇异性行为,容易陷入平坦区,这都和MLPs的参数空间中存在的奇异性区域有直接关系.当MLPs的两个隐节点的权值接近互反时,置换对称性会导致学习困难.对MLPs的互反奇异性区域附近的学习动态进行分析.本文首先得到了平均学习方程的解析表达式,然后给出了互反奇异性区域附近的理论学习轨迹,并通过数值方法得到了其附近的实际学习轨迹.通过仿真实验,分别观察了MLPs的平均学习动态,批处理学习动态和在线学习动态,并进行了比较分析.
关键词：多层感知器神经网络学习动态奇异性互反
分类号：TP273(自动化技术及设备)
资助基金：国家自然科学基金(11190015)高等学校博士学科点专项科研基金(20100092110020)国家自然科学基金(61374006)
论文发表日期：2014-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：8( 140-147 )
英文信息