[부스트캠프 AI Tech]WEEK 14_DAY 66

🎄 개별학습

---

[4] FCN의 한계를 극복한 model 1 - 성능적인 측면에서의 극복

1. FCN의 한계점

1) 객체의 크기가 크거나 작은 경우 예측을 잘하지 못함

- 큰 object의 경우 지역적인 정보로만 예측

- 같은 object여도 다르게 labeling

- 작은 object가 무시될 수 있음

2) Object의 디테일한 모습이 사라지는 문제

- Deconvolution 절차가 간단하여 경계를 학습하기 어려움

 

2. Decorder를 개선한 models

1) DeconvNet

(1) Architecture

Noh, H., Hong, S., & Han, B. (2015). Learning deconvolution network for semantic segmentation. In  Proceedings of the IEEE international conference on computer vision  (pp. 1520-1528).

- Decorder를 Encoder와 대칭으로 만든 형태

- Conv Network : VGG16 사용

- Deconv Networks : Unpooling(디테일한 경계 포착), deconvolution(전반적인 모습 포착), ReLU로 이루어짐

(2) Unpooling

- 노이즈를 제거하지만, 정보 손실 문제가 발생

- 지워진 경계에 정보를 기록했다가 복원

- sparse한 activation map을 가지기 때문에 채워주는 역할을 transposed convolution이 수행

(3) Deconvolution (Transposed Convolution)

- input object 모양을 복원

- 얕은 층은 전반적인 모습, 깊은 층은 구체적인 모습을 잡아냄

 

2) SegNet

(1) 발전 동기

- 자율 주행에서 차량, 도로, 차선, 건물, 보도, 하늘, 사람 등의 class를 빠르고 정확하게 구분할 수 있어야 함

(2) DeconvNet vs SegNet

Badrinarayanan, V., Kendall, A., & Cipolla, R. (2017). Segnet: A deep convolutional encoder-decoder architecture for image segmentation.  IEEE transactions on pattern analysis and machine intelligence ,  39 (12), 2481-2495.

- (공통) Encoder-Decorder Network가 대칭으로 이루어짐

- (공통) Encoder Network에 VGG16 사용

- DeconvNet : FC layer로 7x7 Conv, 1x1 Conv 사용 / SegNet : Deconv 중간의 1x1 Conv 제거 -> 파라미터 감소

- DeconvNet : Unpooling-DeconvNet-ReLU / SegNet : Unpooling-Convolution-ReLU

 

3. Skip Connection을 적용한 models

1) FC DenseNet

(1) Skip Connection

- Nerual Network에서 이전 layer의 output을 일부 layer를 건너 뛴 후의 layer에게 입력으로 제공하는 것

(2) Architecture

Jégou, S., Drozdzal, M., Vazquez, D., Romero, A., & Bengio, Y. (2017). The one hundred layers tiramisu: Fully convolutional densenets for semantic segmentation. In  Proceedings of the IEEE conference on computer vision and pattern recognition workshops  (pp. 11-19).

 

2) Unet

Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In  International Conference on Medical image computing and computer-assisted intervention  (pp. 234-241). Springer, Cham.

 

4. Receptive Field를 확장시킨 models

1) DeepLab v1

(1) receptive field

- feature map의 unit pixel이 feature를 만드는 입력 영역의 크기

- conv -> max pooling -> conv 를 반복하면, 효율적으로 receptive field를 넓힐 수 있음

- 한계 : low feature resolution이 발생

(2) Dilated Convolution

- image의 크기를 적게 줄이면서 효율적인 receptive field를 넓히는 방법을 고안

- dilated convolution, downsampling ↓ , receptive field ↑ , parameter ↓ , high resolution

2) DilatedNet

(1) DeepLab -> DilatedNet

- conv4에서 maxpooling, conv5에서 maxpooling이 사라짐

- fc6에서 3x3 conv rate = 12 -> 7x7 conv rate = 4를 사용

- upsampling 시 Bi-linear Interpolation -> Deconvolution을 사용

---

---

🎄 오늘의 회고

얼어버린 깃허브 한 컷...!🧊

오전에는 강의 듣고! 오늘은 수요일, 마지막 컴퍼니데이였다!! 단순히 검색만 해보거나 직접 찾아보는 것만으로는 기업에 대해서 이해하기가 부족했는데, 직접 어떤 포지션, 어떤 인재를 원하는지 들을 수 있어서 도움이 되었다. 피어세션 때에는 mmsegementation 환경 설정하고, 코드 돌리는거 해보려고 했는데, 오류가 굉장히 많이 난다 +_+ (왜지?!!) 아무튼 하나씩 정리해가면서 segmentation 대회 시..작...!! 마클 때에는 어떤 기법들을 적용하면 좋을지 인사이트를 얻을 수 있었고, 사전 질문을 통해서 취..업..과 관련된 이야기들도 들을 수 있었다. 이번 주까지가 이력서 제출인데 흐음.....😱