文本到图像生成
Parent: ai_keywords
文本到图像生成（Text-to-Image Generation）
核心定义
文本到图像生成是指利用深度学习模型，将自然语言描述自动转换为语义一致、视觉逼真的图像的技术。其本质是跨模态生成任务，核心挑战在于精确对齐文本语义与视觉特征空间。当前主流方法基于扩散模型（如Stable Diffusion、Imagen）或自回归Transformer（如DALL·E 3），通过大规模图文对预训练学习条件分布 ( p(\text{image} \mid \text{text}) )。
关键技术点
- 扩散模型：通过前向加噪（扩散）和反向去噪（逆过程）学习数据分布。以文本嵌入作为条件引导，逐步从高斯噪声还原为高质量图像，代表架构为U-Net + 注意力机制。
- 跨模态注意力（Cross-Attention）：在Transformer层中，图像特征（query）与文本词元（key/value）通过计算相关性权重实现语义对齐，确保生成内容精确响应文本细节（如形状、颜色、空间关系）。
- 对比语言-图像预训练（CLIP）：在超大规模图文对上训练双编码器，学习共享的潜在表征空间，为生成模型提供强语义先验，显著提升文本-图像匹配的鲁棒性。
- 可控生成（ControlNet/DreamBooth）：通过添加空间条件（深度图、边缘、人手绘草图）或目标驱动微调，实现对生成图像的精细化控制，满足临床场景对特定刺激的定制需求。
医学/神经科学应用场景（首都医科大学神经病学研究背景）
在癫痫术前评估中，首都医科大学宣武医院神经内科团队利用文本到图像生成技术构建个性化视觉先兆模拟系统。癫痫患者发作期常伴有视觉先兆（如“彩色光圈从视野中心扩散”），但个体差异极大，标准刺激库难以覆盖。通过采集患者对先兆的精细语言描述（例如：“蓝色螺旋形光波，从左上角逆时针旋转至右下角，5秒内覆盖视野”），结合扩散模型实时生成对应动态图像序列。这些图像作为高密度脑电图（EEG）或立体脑电图（SEEG）的诱发刺激，通过比较真实先兆与生成图像诱发的神经电生理信号（如高频振荡、同步性变化），辅助定位致痫灶。此外，该技术还可延伸至卒中后偏侧忽略康复：根据患者描述的视觉搜索场景（“一个红色圆形在屏幕左侧”），生成个性化注意力训练任务，提升康复依从性。该应用体现了生成式AI与临床神经电生理的交叉创新，为个体化诊疗提供新工具。
