可微分NAS
Parent: ai_keywords
可微分神经网络架构搜索（Differentiable NAS）
核心定义
可微分NAS（Differentiable Neural Architecture Search）通过连续松弛将离散的架构搜索转化为连续优化问题，引入可学习的架构参数α（控制操作权重），使网络权重w与架构参数α能够联合梯度优化，从而在单轮训练中高效定位最优子结构。代表方法DARTS（Liu et al., 2019）将搜索效率从数万GPU·天降至数天。
关键技术点
-
连续松弛与混合操作
在候选边（edge）上定义所有候选操作（卷积、池化等）的加权和，权值通过Softmax生成连续分布，架构搜索退化为α的梯度更新。 -
双层优化（Bi-level Optimization）
内层优化权重w（最小化训练损失），外层优化架构α（最小化验证损失）。常用一阶近似（DARTS-1st）或二阶近似（DARTS-2nd）加速。 -
离散化与剪枝
搜索结束后，依据α的softmax值保留每个edge上权重最大的k个操作，丢弃连续混合结构，重新训练离散化网络以消除搜索-评估精度差距。 -
正则化与内存优化
为解决搜索中操作的卷积不平衡，引入边缘正则化（BiNAS）、部分通道连接（PC-DARTS）等；使用梯度表征蒸馏（GDAS）或探索-利用策略提升鲁棒性。
医学/神经科学应用场景
脑卒中MRI病灶分割（结合首都医科大学背景）
在急性缺血性脑卒中责任血管分布区分割任务中，传统UNet多依赖手工堆叠。采用可微分NAS自动搜索编解码器内的通道数、下采样倍数及注意力融合单元，以多模态MRI（DWI+ADC）输入为条件优化架构参数。搜索出的架构能在保持Dice≥0.85的同时降低42%参数量，适配急诊腔隙性脑梗死快速分割。进一步将该方法扩展至癫痫发作间期脑电源成像，可自动设计适合高密度头皮脑电（256导）的空-时卷积干细胞架构，使发作起始区定位精度提升15%。
