优化理论

Parent: ai_keywords

优化理论

核心定义

优化理论是数学与人工智能的基石，研究在给定约束条件下从可行解中寻找使目标函数极值（最小或最大）的方法。在 AI 中，优化直接驱动模型参数更新（如梯度下降最小化损失函数）；在神经科学中，优化理论既用于解释大脑的学习与决策机制（如感知觉推理、运动规划），也用于解析神经信号、调控神经环路。

关键技术点

1. 梯度下降及其变体：最常用的凸/非凸优化方法。通过沿损失函数梯度负方向迭代更新参数，如随机梯度下降（SGD）、Adam 等。在神经网络训练中，动量和自适应学习率策略提高了收敛速度与稳定性。
2. 凸优化与拉格朗日对偶：凸优化确保全局最优解，拉格朗日乘子法处理等式/不等式约束。该理论为支持向量机、稀疏编码等模型提供了严格数学保障，在脑功能成像中用于稀疏源定位。
3. 贝叶斯优化：针对黑箱目标函数的全局优化方法，基于高斯过程代理模型，平衡探索与利用。特别适用于超参数调优、神经调控参数搜索等采样代价昂贵的问题。

医学/神经科学应用场景：帕金森病深部脑刺激参数优化

以首都医科大学宣武医院神经科学团队的研究为例：深部脑刺激（DBS）治疗帕金森病时，电极的刺激频率、电压、脉冲宽度等参数需精细调校，传统依赖医生经验反复试错，耗时且易引发副作用。应用贝叶斯优化可将患者运动评分（如UPDRS）作为目标函数，在参数空间中自动搜索最优组合。模型利用历史刺激‑疗效数据建立代理函数，逐步缩小探索范围并推荐下一组参数，通常仅需10‑15次迭代即可找到个性化最佳刺激参数，显著降低副作用（如异动症）并维持长期效果。该框架也可扩展至癫痫灶定位中的脑网络优化（如最小化去同步所需能量）或脑卒中后运动康复的刺激时序优化。