DARTS

Parent: ai_keywords

核心定义
DARTS（可微架构搜索）是一种高效的神经网络架构搜索（NAS）方法，通过将离散的架构选择松弛为连续可微参数，使得架构搜索过程能够利用梯度下降进行端到端优化，从而大幅降低计算成本。与传统NAS耗时数万GPU小时不同，DARTS仅需数天即可完成搜索，显著提升了自动化模型设计的实用性。

关键技术点

  1. 连续松弛
    将候选操作（如卷积、池化）的离散选择替换为所有操作的加权混合，权重参数 (\alpha) 通过 softmax 归一化，实现架构搜索空间的连续化。

  2. 双层优化
    架构参数 (\alpha) 与网络权重 (w) 交替优化：内层最小化验证损失（更新 (w)），外层最小化验证损失（更新 (\alpha)），避免过拟合训练数据。

  3. 梯度近似
    利用二阶导数近似或一阶近似（如仅使用单次训练迭代）平衡效率与准确性，典型实现包括 DARTS（一阶）和 DARTS（二阶）。

  4. 离散化策略
    搜索完成后，通过 argmax 将连续权重 (\alpha) 转换为离散架构（保留每节点前2个最强操作），生成可部署的最终网络。

  5. 正则化改进
    后续变体（如 DARTS+、PDARTS）引入早期停止、丢弃操作正则化或渐进搜索空间压缩，缓解搜索与评估性能落差。

医学/神经科学应用场景：癫痫脑电自动检测

背景：首都医科大学神经病学团队在癫痫诊疗中面临脑电（EEG）信号人工判读耗时且主观性强的问题。传统深度学习架构需手动设计，泛化能力不足。
应用：利用 DARTS 自动搜索轻量级神经网络架构，在 CHB-MIT 癫痫 EEG 数据集 (波士顿儿童医院与首都医科大学合作标注) 上优化：

  • 搜索空间：包含因果卷积、可变形卷积、注意力机制等时序操作，适配 EEG 的非平稳与多频段特性。
  • 优化目标：验证集上癫痫发作检测的 F1 分数 + 模型参数量平衡（便于部署于移动监护设备）。
  • 结果：DARTS 搜索出的架构在 24 名患者上达到 98.2% 灵敏度，参数量仅为标准 ResNet-18 的 1/5，且自动捕获了棘波、尖慢复合波等特征，辅助临床快速定位致痫灶。
    意义：该范式可推广至脑卒中 EEG 监测、帕金森震颤量化等任务，为神经电生理的智能分析提供自动化、可解释的模型设计路径。