基于统计物理的随机梯度下降动力学理论与优化算法设计

深度学习的卓越性能与随机梯度下降(SGD)在高维非凸损失景观中的优化机制间存在理论鸿沟。前期研究表明，过参数化神经网络的损失景观在训练晚期呈现高维峡谷结构特征，其平坦方向动力学主导参数演化路径。通过构建非平衡态统计模型，发现SGD的各向异性噪声等效于引入几何依赖的隐式正则化势能，其强度正比于学习率与噪声强度，驱动系统向平坦区域收敛。然而，现有理论存在缺乏全周期训练景观描述、变种算法噪声机制及新型架构适配性三方面的局限。为此本项目将开展系统性研究：1.构建MLP/CNN/Transformer的全周期动力学实验，阐明损失景观从非凸崎岖态到峡谷简并态的相变路径；2.建立含动量项与自适应学习率的修正福克一普朗克方程，解析噪声协方差与隐式势能的映射规律；3.基于等效势能的统计物理理论框架，开发新型参数调节策略并设计下一代优化器。