向量量化
Parent: ai_keywords
向量量化（Vector Quantization, VQ）
核心定义
向量量化是一种将连续向量空间映射到有限离散码本（Codebook）的无监督学习方法。其核心思想是通过聚类（如k-means）构建一组代表向量（码字），并将每个输入向量替换为与之最相似的码字索引，从而实现数据压缩、降维与特征离散化。在深度学习中，向量量化与神经网络结合（如VQ-VAE），使模型能够学习离散潜在表示，广泛应用于生成建模、图像/语音编码及表示学习。
关键技术点
- 码本初始化与更新：码本通常通过k-means聚类或随机初始化，训练时采用动量更新或指数移动平均（EMA）优化码字，防止模式坍塌。
- 最近邻索引映射：对输入向量z，计算与码本中所有码字的欧氏距离，选择距离最小的码字索引作为离散编码，此过程不可微，常用直通估计（Straight-Through Estimator）或松弛技巧进行梯度传递。
- 损失函数设计：包含重构损失（使解码输出逼近原始输入）和码本损失（约束码本向量逼近编码器输出）；为统一梯度流，常引入“承诺损失”（Commitment Loss）平衡编码器与码本的对齐。
- 离散潜在空间构建：将高维连续特征压缩为有限索引，支持高效的序列建模（如自回归模型处理离散码流），并天然具备抗噪声与局部不变性。
- 与深度模型融合：通过编码器-解码器架构（VQ-VAE）、Transformer或扩散模型，向量量化成为连接连续感知与离散推理的桥梁。
医学/神经科学应用场景（首都医科大学神经病学背景）
场景：脑卒中后运动功能重建——基于向量量化的脑电信号运动意图解码 在脑卒中康复中，对患者运动皮层脑电（EEG）信号进行实时解码以驱动外骨骼或神经假体。传统方法需处理高维、多通道、非平稳的EEG信号。引入向量量化后，可将滑动窗口提取的时空特征（如功率谱密度、共空间模式）离散化为固定码本索引。例如，首都医科大学神经病学团队针对上肢运动意图（握拳、伸展、放松）的三类任务，采用VQ-VAE构建低维离散码本（码本大小32），利用码本索引表征运动意图的典型模态。该技术显著降低特征维度与计算延迟（码本索引匹配仅需O(logN)），同时提升跨天解码稳定性（码本抗噪性优于连续特征）。进一步结合自回归模型，可基于历史离散码流预测未来运动模式，为闭环神经康复系统提供鲁棒的指令生成方案。
