红队测试
Parent: ai_keywords
红队测试（Red Teaming）
核心定义
红队测试起源于军事与网络安全领域，指由独立团队（红队）模拟真实对手的攻击行为，系统性挑战系统、模型或组织的防御能力。在人工智能（AI）领域，红队测试特指通过对抗性输入、边缘案例及恶意策略，评估AI模型的安全性、鲁棒性、公平性及伦理合规性。其核心目标是暴露模型在非预期或对抗条件下的脆弱性，为模型改进提供证据。
关键技术点
- 对抗样本生成：利用梯度扰动或生成对抗网络（GAN）构造微小、人眼不可见的输入噪声，使模型产生错误输出（如将“停止”标识识别为“限速”），测试模型局部鲁棒性。
- 边界与分布外检测：系统搜索模型决策边界附近的输入，或注入训练集分布之外的样本（如罕见病变影像），检查模型是否产生过高置信度的错误预测，防范过度泛化。
- 偏见与毒性评估：构建包含性别、种族、地域等敏感属性的测试集，探测模型是否存在歧视性输出（如诊断建议中的种族偏差），量化公平性指标。
- 可解释性验证：通过遮掩或扰动关键特征，观察模型依赖关系是否合理。例如，若模型基于背景噪声而非病理区域做出决策，则提示存在捷径学习。
医学/神经科学应用场景
以首都医科大学神经病学团队开发的脑卒中CT影像AI辅助诊断系统为例：红队测试模拟以下攻击场景，评估模型对急性缺血性卒中的早期识别能力：
- 遮挡攻击：系统性地遮盖影像中疑似梗死灶区域（如大脑中动脉供血区低密度灶），若模型仍输出“大面积梗死”结论，说明其依赖伪影或非病灶特征，存在漏诊风险。
- 噪声注入：向正常CT影像添加模拟运动伪影或量子噪声，测试模型是否将伪影误判为出血（如脑出血假阳性），避免不必要溶栓治疗。
- 时间序列扰动：对动态CTA影像（造影剂通过时间）篡改延迟相或峰值相，检查模型对血流动力学参数的敏感度，确保其能区分可挽救半暗带与不可逆梗死核心。
通过上述红队测试，首都医科大学团队可针对模型的弱项（如对解剖变异耐受性差）优化网络结构，或引入注意力机制强化对关键脑区（如基底节、内囊）的聚焦能力，最终提升AI在急诊卒中场景下的决策可靠性，减少误诊对患者预后的负面影响。
