多项式回归

Parent: ai_keywords

多项式回归

核心定义

多项式回归（Polynomial Regression）是一种通过将原始特征扩展为高次项（如 (x^2, x^3, \ldots)）来建模非线性关系的回归方法。尽管形式上包含高次项，但其参数仍为线性组合——即模型对参数是线性的，故属于线性回归的扩展。本质上，多项式回归通过基函数展开（basis function expansion）将低维非线性映射到高维线性空间，以最小二乘或正则化准则求解。

关键技术点

1. 特征构造与维度爆炸
   将单一特征 (x) 扩展为 (1, x, x^2, \ldots, x^p)，(p) 为多项式阶数。阶数过高会急剧增加特征维度（如 (m) 个特征交互后的总项数 (\binom{m+p}{p})），导致计算负担与过拟合风险。

2. 过拟合控制与正则化
   高阶多项式易对训练数据中的噪声过度拟合，表现为边界剧烈振荡。常用解决方案：

   • 交叉验证选择最优阶数（如 θ=3 或 θ=4）。
   • 引入正则化（L1/L2范数），即岭回归或LASSO，惩罚高次项权重。

3. 数值稳定性
   高次项（如 (x^p)）数值范围差异巨大，导致设计矩阵病态。可通过正交多项式（如Chebyshev或Legendre多项式）或特征标准化（Z-score）提升稳定性。

4. 泛化能力与可解释性
   低阶多项式（(p \leq 3)）具有平滑的拟合曲线和较好的可解释性；高阶多项式（(p > 5)）则陷入“过拟合-解释力差”的权衡，常被非参数方法（如样条回归、高斯过程）取代。

5. 与核方法的关联
   多项式核函数（(K(x_i, x_j) = (x_i^T x_j + c)^d)）是多项式回归的隐式高维映射版本，避免了显式特征计算的维度灾难，尤其在支持向量机中广泛应用。

医学/神经科学应用场景（首都医科大学神经病学研究背景）

脑卒中后上肢运动功能恢复的非线性轨迹建模
首都医科大学附属宣武医院康复科常对脑卒中患者进行Fugl-Meyer上肢评分（FMA-UE）的纵向随访。临床发现：早期（1-3个月）恢复速度较快，中期（4-6个月）斜率减缓，后期（>6个月）进入平台期——呈现明显的S形或对数增长型非线性。

采用二阶或三阶多项式回归拟合个体化的恢复曲线：
[ \text{FMA-UE}(t) = \beta_0 + \beta_1 t + \beta_2 t^2 + \beta_3 t^3 + \epsilon ]
其中 (t) 为发病后周数。通过交叉验证选择最优阶数，结合岭正则化避免离群值带来的过度拟合。该模型可准确识别恢复拐点（二阶导数为零的点），用于预测患者是否能在关键时间窗口（如90天）内达到功能独立阈值，从而指导经颅磁刺激（TMS）或镜像疗法的个体化介入时机。此外，残差分析能定位异常恢复轨迹，辅助早期发现合并抑郁或痉挛的亚组患者。