图像描述
Parent: ai_keywords
图像描述（Image Captioning）
核心定义
图像描述是人工智能领域的一项多模态任务，旨在自动生成自然语言文本，准确、丰富地描述给定图像中的视觉内容、物体关系及场景语义。其本质是计算机视觉与自然语言处理的深度融合：模型需先“理解”图像（识别物体、动作、空间关系），再“生成”连贯的句子（符合语法、语境与常识）。该技术已超越单纯的分类或检测，走向视觉与语言的跨模态对齐与推理。
关键技术点
- 编码器-解码器框架：经典基线。CNN（如ResNet、ViT）编码图像为特征向量，RNN/LSTM/Transformer解码为逐词序列；Transformer的并行自注意力机制显著提升长程依赖建模能力。
- 视觉注意力机制：包括空间注意力（软注意力、硬注意力）和自注意力。模型生成每个词时动态聚焦图像局部区域，实现“看哪描哪”，增强描述精细度。
- 多模态预训练：如CLIP、BLIP、LLaVA，利用海量图文对进行对比学习或生成式预训练，实现零样本/少样本迁移，大幅降低对标注数据的依赖。
- 强化学习优化：采用CIDEr、SPICE等非可微指标作为奖励，通过策略梯度（如Self-Critical Sequence Training）直接优化生成质量，缓解训练-测试失配问题。
- 评价体系：自动指标（BLEU、METEOR、ROUGE、CIDEr、SPICE）联合人工评估，兼顾n-gram精确度、语义保真度及图像-文本对齐度。
医学/神经科学应用场景
首都医科大学神经病学研究所将其应用于脑卒中后失语症评估。具体流程：患者观看标准化复杂场景图像（如“公园野餐”）并口头描述，AI模型同步生成参考描述。通过对比患者描述与模型描述在语义内容（实体数量、动作准确性）、句法复杂度（平均句长、从句数）及词汇多样性（类型-例数比）上的偏差，量化语言功能障碍的严重程度。此方法可替代传统耗时的人工评分，实现客观、可重复的失语症亚型分类（如Broca失语、Wernicke失语）及康复疗效远程监测，目前已在宣武医院认知障碍门诊开展初步验证。此外，该技术还可用于帕金森病患者的运动图像描述（如步态视频帧），辅助步态冻结的早期识别。
