CatBoost

Parent: ai_keywords

核心定义

CatBoost（Categorical Boosting）是由Yandex开发的梯度提升决策树（GBDT）算法变体，核心创新在于对高基数类别特征的原生处理能力与对称决策树结构。它通过有序提升（Ordered Boosting）避免目标泄露，并利用遗忘树（Oblivious Tree）降低过拟合风险，在结构化数据分类与回归任务中表现优异。

关键技术点

1. 有序提升（Ordered Boosting）
   传统GBDT的梯度估计依赖历史数据，易引入目标泄露。CatBoost采用在线学习思想：对每个样本，仅用其之前的样本（按随机排列顺序）训练模型以计算梯度，消除统计偏移，提升泛化性。

2. 原生类别特征处理
   无需手动编码（如One-Hot或Label Encoding），通过目标统计（Target Statistics） 与优先级经验贝叶斯平滑，自动将类别变量转换为数值，尤其擅长处理高基数分类特征（如地区、诊断代码）。

3. 对称决策树（Oblivious Tree）
   每层仅使用相同的分割特征与阈值，树结构高度规则化。这种对称性降低了模型方差，并显著加速推断速度（适合实时临床决策），同时天然支持缺失值。

4. GPU加速与对偶学习
   原生支持GPU并行训练，结合对偶坐标下降优化，在大规模医学数据集（如百万级电子病历）上训练效率远超XGBoost/LightGBM。

医学/神经科学应用场景

脑卒中早期预警与预后分型（基于首都医科大学宣武医院真实临床数据）
CatBoost可整合类别特征（如脑卒中TOAST分型、既往用药史、基因多态性）与连续特征（如NIHSS评分、DWI-ASPECTS值、血液炎症因子）。模型自动学习“高脂血症+房颤”的交互效应，预测48小时内病情恶化风险（AUC>0.92）；同时利用对称树结构构建可解释的列线图（Nomogram），辅助神经内科医师在急诊窗口期快速决策溶栓或取栓。进一步地，针对癫痫术后复发预测，CatBoost处理高基数特征（如抗癫痫药物组合、EEG棘波分布模式），结合有序提升机制有效应对样本不平衡，为个体化抗痫方案提供稳健支持。