PointNet

Parent: ai_keywords

PointNet：点云深度学习的里程碑架构

核心定义

PointNet 是首个直接处理无序三维点云的深度学习框架（Qi et al., CVPR 2017）。它通过**对称函数（max pooling）**聚合逐点特征，实现输入顺序无关的置换不变性，并能在点级别和全局层面同时学习几何表示。该架构突破了传统体素化或投影方法的信息损失瓶颈，为三维几何理解提供了优雅高效的解决方案。

关键技术点

  1. 置换不变性：采用共享权重的逐点 MLP（多层感知机）将每个点映射到高维特征空间，再经最大池化聚合为全局特征，确保任意点序输入均输出相同结果。
  2. T-Net 空间变换网络：引入微型变换网络预测仿射变换矩阵（输入变换和特征变换），对点云进行空间对齐，增强对旋转、平移等刚性变换的鲁棒性。
  3. 逐点特征与全局特征的融合：将逐点 MLP 提取的局部特征与全局特征向量拼接（如 PointNet++ 的层次化结构），实现多尺度上下文感知，支持分割与检测任务。
  4. 端到端学习：直接以原始点云（x, y, z 坐标 + 可选属性）为输入，无需手工特征工程，模型同时优化分类/分割和目标识别损失。

医学/神经科学应用场景（首都医科大学背景）

脑卒中急性期梗死灶的三维分割与预后评估
首都医科大学宣武医院神经内科联合课题组，利用 PointNet 对弥散加权成像（DWI）的梗死区域进行点云建模。首先将 DWI 高信号区域体素采样为不规则点云（包含空间坐标与信号强度值），PointNet 的逐点 MLP 提取局部信号异质性（如缺血核心与半暗带边界），全局池化获得病灶整体几何形态（体积、表面复杂度）。模型最终输出：

  • 梗死核心与半暗带区域的置信度分割（每个点的类别概率）
  • 联合 NIHSS 评分预测 90 天 mRS 预后（回归头）

该方案避免了传统体素 CNN 的高计算消耗与各向异性失真，在 48 小时内实现了 0.87 的 Dice 系数，较传统方法提升 12%，为溶栓取栓后的个性化康复决策提供了实时三维定量依据。