OpenMMLabNote-6.md

OpenMMLab-AI训练营-5

MMSegmeation

1. 分割方法

1. 基于颜色：先验知识；
2. 滑窗逐像素分类：
   1. 利用已有的图像分类模型, 但效率低, 重复计算卷积；
   2. Fully Convolutional Network(2015):
      1. 复用卷积计算，生成全图特征图，全连接层要求固定输入大小，全连接层的卷积化，使用卷积层实现全连接层;
      2. 对预测图上采样: 双线性卷积, 转置卷积;
      3. 直接上采样, 损失很多细节, 需要将低层次和高层次特征结合;
   3. UNet(2015): 逐级融合高低层次特征;
3. 上下文信息: 周围像素的信息可以帮助更准地分析特征;
   1. PSPNet(2016): 多尺度池化->特征拼接;
4. 空洞卷积与DeepLab:
   1. 解决问题:传统图像分类卷积中的下采样层使得输出尺寸变小;
      1. 简单减少下采样的次数, 为了维持相同的感受野, 卷积核增大, 增加大量训练参数;
      2. 使用空洞卷积Dilated Convolution, 在不增加参数, 增大感受野; 空洞卷积等效为下采样+标准卷积;
      3. 不需要通过插值来还原到原始尺寸;
   2. 解决问题: 模型直接输出的分割图在边界处效果差;
      1. 使用条件随机场CRF来解决;
   3. 使用空间金字塔池化来融合不同尺度的上下文信息;

2. 语义分割模型评估

1. 预测和真值的交集与并集
2. mIoU,混淆矩阵