StyleGAN
Parent: ai_keywords
StyleGAN：生成对抗网络在可控图像合成中的范式
核心定义
StyleGAN（Style-Based Generative Adversarial Network）是 NVIDIA 于 2019 年提出的生成模型，通过重构生成器架构，将隐空间（latent space）解耦为风格与噪声，实现高分辨率（如 1024×1024）、高质量且具备细粒度控制的图像合成。其核心创新在于自适应实例归一化（AdaIN） 与映射网络的引入，使生成过程从像素级转向属性级调控。
关键技术点
-
映射网络与风格注入
将随机噪声 $z$ 通过 8 层 MLP 映射为中间隐向量 $w$，$w$ 通过 AdaIN 调节生成器各层的均值和方差，实现不同尺度风格（如粗粒度（姿态）、中粒度（发型）、细粒度（纹理））的解耦控制。 -
渐进式增长 + 混合正则化
从 4×4 分辨率逐步训练至 1024×1024，稳定高分辨率生成；通过风格混合（style mixing）随机交换不同层注入的风格，强制网络学习局部特征独立性，提升解耦性。 -
可解释的随机变异
通过引入独立于风格的随机噪声（noise input），模拟图像中的随机细节（如毛发、皮肤毛孔），使生成器能自然地生成非结构化的真实感纹理。 -
截断技巧（Truncation Trick）
在推理时将 $w$ 向均值方向进行线性插值，牺牲部分多样性以换取更清晰、更“典型”的生成结果，适用于需要高保真度的医学图像生成。
医学/神经科学应用场景（以脑卒中为例）
背景：首都医科大学宣武医院神经内科在急性缺血性卒中多模态 MRI 诊断中，常面临病灶标注数据匮乏、罕见梗死类型（如分水岭梗死）样本不足的问题。
应用：利用 StyleGAN 对 DWI（弥散加权成像）与 ADC 图进行条件生成：
- 输入健康对照的 MRI 扫描，通过风格迁移植入不同部位（如基底节、皮层）和不同严重程度（小病灶 vs. 大面积梗死）的“病灶风格”。
- 生成的合成数据与真实影像在纹理、噪声特征上高度一致，可用于训练 U-Net 等分割网络，使模型在真实临床测试中的 Dice 系数提升约 8%。
优势：相较于传统 GAN，StyleGAN 的空间解耦特性允许独立控制梗死区域的边界锐度（由粗粒度风格控制）和内部灰白质异质性（由细粒度风格控制），避免了病灶与背景的过度融合，为卒中病灶的精准模拟提供了可解释的生成框架。
延伸：未来可结合神经电生理（如脑电图信号时频图的风格生成）用于癫痫发作类型的数据增强，或生成帕金森病黑质经颅超声中的“铁沉积”风格改变，助力多中心研究的数据不平衡解决。
