Mask R-CNN 논문 리뷰 (1) Backgrounds

 

Mask R-CNN paper

 

 

 

 

Abstract

The method, called Mask R-CNN, extends Faster R-CNN by adding a branch for predicting an object mask in parallel with the existing branch for bounding box recognition.

 

Mask R-CNN = Faster R-CNN + mask branch (segmentation mask를 예측)

 

 

 

 

---

🔹 개념정리

 

object detection : 객체가 위치하고 있는 bbox를 출력

object segmentation : 객체를 픽셀 단위로 분류

 

Sematic segmentation : 인스턴스의 구분없이 같은 클래스이면 함께 분류

Instance segmentation : 객체 인스턴스를 각각 분류

 

 

 

 

---

 

🔹 선행 논문

FCN > R-CNN > Fast R-CNN > Faster R-CNN > FPN > Mask R-CNN

 

 

 

R-CNN (CVPR 2014)

 

 

🔹 R-CNN Model 구조

 

1. Region Proposal  

~2k개의 bbox(=Region proposal)를 Selective Search 알고리즘을 통해 추출해서 잘라냄(Cropping)

 

2. CNN 

Warping후 CNN모델에 전달 (옛날 모델이라서 CNN입력 사이즈를 맞춰주어야 했음)

각각의 영역에서 Feature Vector를 뽑아냄

 

3. SVM

각각의 classification의 결과를 도출

 

 

🔹  논문 특징

• Including background as an additional class
• Ground truth label augmentation using IoU

 

IoU
= Overlapping region / combined region

 

2-stage Detector

1. Region Proposal
2. Region Classification

 

 

 

🔹 단점 : 오래걸림, 3가지 모델을 사용하는 복잡한 구조, 중복 계산이 많음

 

ref.

https://nuggy875.tistory.com/21

 

 

 

---

Fast R-CNN (ICCV 2015)

 

🔹 3가지 개선점

• Fast inference
  • CNN extracts feature maps only once for an image

 

• End-to-end training
  • Removing SVM for classification

 

• Multi-task learning
  • Classification and bounding box regression

 

영상당 CNN을 한번만 통과하게 하고

SVM을 없애고 입력부터 end-to-end로 변경(R-CNN에서는 SVM이 좋다고 하였음)

(R-CNN은 box의 위치를 조정하지 않음)

RoI pooling layer 사용

 

 

🔹 단점 : 여전히 Region Proposal 단계에서 Selective search 같은 비싼 알고리즘이 사용됨

 

 

 

 

---

Faster R-CNN (NIPS 2015)

 

 

Faster R-CNN = Fast R-CNN + RPN 

 

 

RPN (Region Proposal Network)

이미지에서 물체가 있을 것으로 예상되는 영역을 사전에 제안하여 속도를 향상

 

Remove all randomness

Anchor Box 도입

 

 

물체가 있는 박스가 여러개인데 최적의 박스를 찾으려면?

NMS (Non-Maximum Suppression)

여러개의 박스 중 하나만 남기는 방법

- removing boxes with low confidence scores or high IoU scores(많이 겹치는 박스)