[Segmentation] DeconvNet, SegNet, FC DenseNet, DeepLab, DilatedNet

2024.02.10 - [Computer Vision & AI/Computer Vision] - Semantic Segmentation - FCN

Semantic Segmentation - FCN

 

FCN의 한계

1. 객체의 크기가 크거나 작은 경우 예측을 잘 못함
   1. 큰 객체 - 유리창에 비친 자전거가 자전거로 인식됨
   2. 작은 객체가 무시되는 경향
2. 객체 디테일이 사라짐
   1. skip connection을 사용했지만 그래도 역부족

 

---

DeconvNet

Decoder를 Encoder와 대칭으로 만든 형태

가운데의 1x1 conv를 기점으로 대칭형태의 구조

pooling-unpooling

conv-deconv

 

conv : conv-BN-ReLU 로 구성

 

 

 

unpooling 하는 이유

디테일한 경계를 포착하기 위해

 

MaxPooling은 가장 큰 값만 추출함.

MaxPooling의 위치 정보를 기억해서 해당 영역을 복원

 

Pooling은 노이즈를 제거하는 장점이 있으나, 정보가 손실되는 문제가 있음.

Pooling시 지워진 위치 정보를 기록했다가 복원.

학습이 필요 없기 때문에 속도가 빠름

 

 

 

Deconvolution

얕은 층은 전반적인 특성,

깊은 층은 구체적인 특성을 학습

 

 

Activation map을 보면 깊은 레이어로 갈수록 디테일해짐

 

FCN8s < DeconvNet

 

 

---

SegNet

빠른 속도

-자율 주행 문제에서 필요

 

DeconvNet과 SegNet의 구조 차이

 

return_indices=True # 인덱스 위치 정보

 

공통점

Encoder, Decoder Network가 대칭으로 이루어진 구조

Encoder Network VGG 16 사용

 

차이점

DeconvNet	SegNet
FC layer로 7x7 conv 및 1x1 conv 사용	중간의 1x1 conv 제거 → weight 파라미터 감소 → 학습 및 추론시간 감소
decoder network에서 Unpooling → Deconv → ReLU	Unpooling → Conv → ReLU

 

---

Skip Connection을 적용한 모델들

 

Skip Connection
ResNet에서 input + output을 통해 gradient가 흐르는 것을 더 쉽게 만들어줌
DenseNet은 단순히 output을 제공하는데 그치지 않고 더 많은 정보를 줌
모든 output정보를 활용함

 

 

FC DenseNet

이전 레이어의 정보를 concat하는 부분이 존재

채널별로 concat하는 부분 추가

 

 

 

U-Net (향후 추가)

Skip Connection 4개 존재

 

 

 

---

Receptive Field를 확장시킨 모델들

 

 

Receptive Field란?

 

 

receptive field가 작다면 → 버스에 대한 정보를 부분적으로 포함 → segmentation정확도 하락

 

 

DeepLab v1

10x10 → 8x8 → max pooling(2) → 4x4

conv와 max pooling을 적절히 반복하면 receptive field를 넓힐 수 있음.

그러나 resolution측면에서는 low feature resolution을 가지는 문제 발생

 

이미지의 크기는 많이 줄이지 않고,

파라미터의 수도 변함이 없는 채로,

receptive field만 넓게 하는 방식 ?!

 

 

Dilated Convolution

바라보는 영역은 똑같이 9개이지만 receptive field는 3x3 → 5x5로 넓어짐

 

 

 

Bilinear interpolation

 

 

 

 

Dense CRF 로 성능 증가

CRF
Conditional Random Field
물체가 존재할 확률

 

 

색상이 유사한 픽셀이 가까이 위치 → 같은 클래스

색상이 유사해도 픽셀 거리가 멀면 → 다른 클래스

 

이것을 여러번 반복 수행

각 클래스별로 진행

 

 

결과 차이

 

 

 

DilatedNet

Dilated = “확장된”

Dilated conv를 더 효율적으로 적용함

 

3x3 max pooling→ 2x2

bilinear interpolation → deconv

 

디테일이 강화됨