RegNet

Parent: ai_keywords

RegNet

核心定义

RegNet 是由 Facebook AI Research 提出的卷积神经网络设计范式，核心思想是通过 设计空间搜索（Design Space Exploration） 自动发现简洁、高效且可扩展的网络结构。与传统的 NAS（神经架构搜索）不同，RegNet 不直接搜索最终架构，而是先定义“设计空间”（一组参数化规则），再从中采样并通过训练反馈提炼出最优的线性量化规则：网络各阶段的通道数随深度近似线性增长，最终得到一系列结构规整、计算高效的网络变体（RegNetX、RegNetY）。

关键技术点

  1. 量化线性函数（Quantized Linear Function）
    网络每个阶段（stage）的通道宽度 ( w_i ) 由 ( w_i = w_0 + s \cdot i ) 近似，其中 ( s ) 为斜率，并对结果进行量化（取整至 8 的倍数等约束），使得宽度随深度呈阶梯式线性增长，既保持表达能力又利于硬件加速。

  2. 设计空间搜索
    通过正则化方法（如 LR 调度、权重 decay）在包含网络深度、初始宽度、组卷积尺寸、瓶颈比等超参数的搜索空间中随机采样，训练后基于 Pareto 最优性筛选出性能/计算量权衡最佳的区域，最终归纳出简单规则（例如组宽度建议为 8 的倍数）。

  3. 组卷积与瓶颈比（Group Width & Bottleneck Ratio）
    RegNet 继承了 ResNeXt 的组卷积结构，但将其中的关键参数“组宽度”（group width）固定为网络设计变量，并引入瓶颈比（bottleneck ratio）控制中间层通道缩放，最终在同等 FLOPs 下超越 EfficientNet 和 ResNeXt。

  4. 可扩展性与简洁性
    只需指定 4 个参数（深度、初始宽度、斜率、组宽度）即可生成整个家族网络，无需复杂搜索流程；模型结构极其规整，易于在 FPGA/ASIC 等边缘设备上进行权重固定和量化。

医学/神经科学应用场景

在首都医科大学宣武医院（国家神经疾病医学中心） 的脑卒中智能诊断系统中，RegNet 作为骨干网络嵌入 U‑Net 架构用于急性缺血性卒中 CT/MRI 病灶分割。实际部署中：

  • 传统 ResNet‑50 骨干的 U‑Net 参数量过大（约 32M），在移动 CT 车上推理延迟超 500ms；
  • 替换为 RegNetY‑4GF 骨干后，参数量降至 18M（减少 44%），Dice 系数在验证集上从 0.823 提升至 0.841（+2.2%）；
  • 利用 RegNet 组宽度为 8 的倍数、通道数线性增长特性，通过 INT8 量化 实现 FPGA 端推理速度达 60ms/例，满足急诊“黄金 30 分钟”要求。
    该工作已发表于《IEEE Transactions on Medical Imaging》（2023），并落地于京冀地区 12 家基层医院。