(MMDetection) Cascade R-CNN 테스트

 

 

MMDetection 모델 실험 중 Cascad R-CNN을 돌려보았다.

그 결과와 성능에 대해 간단히 정리해보려 한다.

 

 

 

 

먼저 Cascade R-CNN의 특징을 살펴본다.

 

cascade라는 단어의 뜻은 겹겹이, 층으로 쌓다 라는 의미이다.

 

이런 의미처럼 모델도 여러 층의 detector로 구성된다.

 

 

 

이전 detector들의 문제점은 IoU threshold를 낮게 하면 noisy detection이 발생되고,

IoU를 threshold를 높게하면 AP가 낮아지는 점이었다.

 

IoU (Intersection over Union) : 두 영역이 겹치는 부분의 면적
detection 문제에서 모델이 예측한 bbox와 실제 GT bbox 간의 IoU를 계산해서 정확도를 평가한다.

IoU 임계값이 높을 때 
: 임계값이 높아지면 작은 객체나 부분이 잘린 객체의 검출 능력이 감소할 수 있다.
정밀도는 높아지나 재현율이 감소해서 실제 객체를 놓치게 된다.

IoU 임계값이 낮을 때
: 잘못된 검출이 증가한다. 중첩이 낮아도 검출로 간주되기 때문이다.
재현율은 증가하나 정밀도가 감소한다.

 

 

 

Cascade R-CNN 은 multi stage detector로 이런 문제점을 완화한다.

 

논문 figure를 보면 Faster R-CNN에서 어떤 식으로 Cascade R-CNN의 구조로 발전시켰는지 알기 쉽다.

 

낮은 단계에서부터 점진적으로 학습해나가는 프로세스를 가지며 낮은 IoU에서 학습된 output을 활용하여 다음 단계의 detector 학습에 반영하는 구조가 된다.

 

 

 

 

 

 

 

 

위 논문의 표와 실험 결과를 비교해보면 같은 epoch에서 faster rcnn보다 cascade 성능이 높음을 알 수 있다.

 

 

 

 

 

 

 

backbone ResNet 50과 101을 비교한 실험 그래프는 다음과 같다.

 

101로 실험했을 때 확실히 시간이 오래 걸리긴 했다. 메모리 할당은 2배 이상이다.

(그래서 학습을 2개 이상 돌릴 수 없었다.)

 

 

 

 

그리고 kfold로 나눈 train결과를 앙상블 해서 제출했는데,

앙상블 하니 mAP가 0.03정도 높게 나왔다.

 

더 성능 좋은 모델을 테스트 해서 

각 모델의 장점을 confusion matrix로 분석하여 가중치를 두고 앙상블 하면 더 좋은 결과가 나올 것으로 기대된다.

 

 

 

 

 

참고

https://arxiv.org/pdf/1712.00726v1.pdf

https://blog.naver.com/tomatian/221853527701