Faster RCNN系列算法原理讲解（笔记）

Faster RCNN介绍：

给定图片中精确定位物体位置，预测物体类别

尺度变化、视觉变化、姿态变化、场景不确定、多个类别

RCNN->SPPNet->Fast-RCNN->Faster-RCNN升级
它的检测方法流程与传统方法类似：

候选框选取可采用滑动窗口策略或选择性搜索策略。

RCNN网络

RBG 2014年提出

深度特征

RBG首次将卷积神经网用在了深度学习目标检测算法中。利用卷积神经网代替了原先的颜色、纹理这样的低层次的视觉特征。因为RCNN并没有对整个传统目标检测的框架进行改进 ，因此RCNN依然存在传统目标检测存在的问题。例如：检测速度效率低下。

RCNN介绍

步骤一：训练分类网络AlexNet

步骤二：模型左fine-tuning
+ 类别1000改为20
+ 去掉FC

步骤三：特征提取
+ 提取候选框（选择性搜索）
+ 对弈每一个区域：修正区域为CNN的输入，利用网络对候选框提取到特征

步骤四：训练SVM分类器：每个类别对应一个SVM

步骤五：回归器精修候选框位置：利用线性回归模型判定框的准确度
解释：
提取候选框（选择性搜索）

step0：生成区域集R（区域分割）

step1：计算区域集R里每个相邻区域的相似度S={s1,s2…}

step2:找出相似度最高的两个区域，将其合并为新集，添加进R

step3:从S中移除所有与step2中有关的子集

step4:计算新集与所有子集的相似度

step5：跳至step2，直至S为空

RCNN缺点：

• 候选框选择算法耗时严重
• 重叠区域特征重复计算
• 分步骤进行，过程繁琐

SPPNet介绍：

• CNN不同尺度输入
• 仅对原图提取一次卷积特征
  
  Image：这里的输入图像可以理解为候选区域。
  Crop/warp：对候选区域进行抠图，然后将图片resize到固定的尺寸。
  因为有了这两个操作，所以候选区域可能出现扭曲。因此将固定尺寸的图片输入到卷积神经网中，尽心特征提取，最终在FC层得到输出的特征向量。因为采用同一个卷积神经网，因此保证输入的尺寸必须一致。这里将候选区域的提取放在了图像输入的下一步，不同的候选区域会分别采用一次卷积来完成特征提取的过程，就意味着会有计算量的重复，也是RCNN网络存在的问题。所以做了优化（上图最下边），引入spp层（右上图）对于不同尺寸提取不同维度的特征，它会将每一个卷积层的输出固定的通过SPP层得到一个21维特征，这个21维是针对每个feature map而言的，也就是对每一个通道（channel），具体维数21 * c，就是通过SPP层得到固定的输出，然后再通过FC层计算。
  那具体是如何根据这样一个区域来得到一个值呢，实际上可以采用pooling操作来完成。有各种pooling算子。

• ROI Pooling：单层SPPNet

• 共享卷积特征

• pooling层的一种
• 为了proposal抠出来的过程，然后resize到统一的大小
• 操作如下：
  （1）根据输入的image，将Roi映射到feature mao对应的位置
  （2）将映射后的区域划分为相同大小的sections（sections数量和输出的维度相同）
  （3）对每个section进行max pooling操作
  
  • Fast RNN网络缺点：
    • 存在瓶颈：选择性搜索，找出所有的候选框十分耗时
    • 那么能不能找出一个更加高效的方法来求出这些候选框呢
      • Region Proposal Network（RPN）网络
  • Faster RNN网络：
    • Region Proposal Network（RPN）
    • 端到端的检测
      
  • Faster RNN网络结构
  • 主干网络：13con+13relu+4pooling
  • RPN：3 × 3 + 背景前景区分 + 初步定位
  • ROI Pooing
  • 分类 + 位置精确定位
    

• 粗定位
• 粗分类
  
  图解：
  RPN网络中，通常会使用滑动窗口（通常是3 × 3），卷积后会的到一个固定长度的向量，接下来分别用两个FC层对类别和位置进行分类和回归，这里的Anchor是指对于每一个滑动窗口，它的中心点都会作为一个Anchor，再针对这个Anchor来分别同原始的图像找到不同尺寸的窗口，认为不同尺寸的窗口经过poling之后就能映射到这样一个3 × 3的区域上，也就是通过Anchor找到原始图像。

• 给定图片中精确定位物体位置，预测物体的类别
• 尺度变化、视觉变化、姿态变化、场景不确定、多个类别
• RCNN ->SppNET -> Fast-RCNN->Faster-RCNN升级