[부스트캠프 AI Tech]WEEK 09_DAY 43

🌿 개별학습

---

[5] 1 Stage Detectors

1. 1 Stage Detectors

1) Background

(1) 2 Stage Detectors

- RCNN, FastRCNN, SPPNet, FasterRCNN, ...

- Localization(후보 영역 찾기) -> Classification(후보 영역에 대한 분류)

- 속도가 느림 -> real world에서 사용하기 어려움

(2) 1 Stage Detectors

- Yolo, SSD, RetinaNet, ...

- Localization & Classification 동시에 진행

- 전체 이미지에 대해 특징 추출, 객체 검출이 이루어짐 -> 객체에 대한 맥락적 이해가 높음

- 속도가 빠름 (real-time detection)

2) History

 

2. YOLO v1

1) Overview

- 전체 이미지에서 bounding box + class 예측을 동시에 진행

2) Pipeline

(1) GoogleNet의 변형

Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once: Unified, real-time object detection. In  Proceedings of the IEEE conference on computer vision and pattern recognition  (pp. 779-788).

- 24개의 conv layer 로 특징 추출

- 2개의 fully connected layer 로 box 좌표값 및 확률 계산

(2) 순서

Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once: Unified, real-time object detection. In  Proceedings of the IEEE conference on computer vision and pattern recognition  (pp. 779-788).

- 입력 이미지를 S×S 그리드 영역으로 나누기

- 각 그리드마다 B개의 bounding box와 confidence score 계산

- 각 그리드마다 C개의 class에 대한 클래스 확률 계산

3) Result

- Faster R-CNN에 비해 6배 빠른 속도

- 다른 real-time detector에 비해 2배 높은 정확도

- 이미지 전체를 보기 때문에 클래스와 사진에 대한 맥락적 정보를 포함하고 있음

- 물체의 일반화된 표현을 학습 -> 새로운 도메인과 dataset에도 성능이 좋음

 

3.SSD

1) Overview

(1) YOLO의 단점

- 7×7 그리드 영역으로 나누기 때문에 그리드보다 작은 크기의 물체는 검출하지 못함

- 마지막 feature만 사용하여 정확도가 하락함

(2) YOLO vs SSD

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., & Berg, A. C. (2016, October). Ssd: Single shot multibox detector. In  European conference on computer vision  (pp. 21-37). Springer, Cham.

- YOLO : 448×448 / SSD : 300×300

- YOLO : FC layer로 인해서 속도가 느려짐 / SSD : 1×1 conv를 사용하여 속도가 빠름

- YOLO : 마지막 feature에서 detection / SSD : 마지막 feature map에서 extra feature layer를 이용하여 detection 수행

(3) SSD의 특징

- extra conv layers에서 나온 모든 feature map에서 detection 수행

-> 큰 feature map은 작은 물체 탐지. 작은 feature map은 큰 물체 탐지

- FC 대신 conv layer 사용하여 속도 향상

- Default box 사용(anchor box)

2) Pipeline

- VGG-16(backbone) + Extra Conv Layers

- 입력 이미지 300×300

- Multi-scale feature map 사용

 

4. YOLO Follow-up

1) YOLO v2

(1) Concepts

- 정확도(better), 속도(faster), 더 많은 클래스 예측(stronger) 향상

(2) 정확도

- batch normalization

- high resolution classifier : 448×448 이미지로 새롭게 fine tuning

- convolution with anchor boxes : FC 제거하고 anchor box 도입

- fine-grained features : early feature map을 late feature map에 합쳐주는 passthrough layer

- multi-scale training : 다양한 입력 이미지 사용

(3) 속도

- Darknet-19 사용

(4) 더 많은 클래스 예측

- Imagenet, Coco 함께 사용

- wordtree 구성(계층적인 트리)

2) YOLO v3

(1) Darknet-53

- skip connection 적용

- max pooling X, conv stride 2 사용

(2) Multi-scale Feature maps

- 서로 다른 3개의 scale 사용

- FPN(Feature Pyramid Network) 사용

 

5. RetinaNet

1) Overview

(1) 1 Stage Detector Problems

- Class imbalance : 객체 보다 배경 영역이 더 많음

- Anchor box 대부분 Negative Samples(background)

2) Concept

(1) 새로운 loss function 제시 : cross entropy loss + scailing factor  -> 쉬운 예제에 작은 가중치, 어려운 예제에 큰 가중치

(2) Focal loss

- 1 stage method의 단점이었던 성능에서 큰 향상을 이룸

- Class imbalance가 심한 Dataset을 학습할 때 사용

---

---

🌿 오늘의 회고

1 Stage Detector 강의 들으면서 하루 시작! 2 Stage 만 보다가 1 Stage 보니까 확실히 모델이 객체를 탐지하는 과정이 간단해져서 성능 향상을 이뤘다는 점이 특징이다. 대회 관련으로는 mmdetection, detectron 등 다양한 라이브러리가 있지만, mmdetection이 config 파일만 바꿔서 실험할 수 있어서 간단하고, 다양한 모델을 적용시켜볼 수 있기 때문에 mmdetection을 사용하기로 했다. mmdetection에 wandb를 연결하는 코드를 작성하다가 에러가 나서.. 해결하느라 조금 어려웠지만.. (조금.. 조금 어려웠던걸로..) 그래도 wandb에 찍히는 log를 보니까 확실히 시각화라는 효과가 대단하다고 느꼈다! 이제 wandb 연결도 했으니 dataset 구성하고 어떻게 모델 돌릴지만 고민하면 된다! 피어세션 때에는 이번 주 팀 회고를 작성하고, detection task에 적용할 수 있는 augmentation에 대해서 논의해보았다. detection이라 bounding box를 어떻게 해결할지가 큰 관건...(!!!) 벌써 level 2의 한 주가 지났는데 확실히 level 1 의 한 주보다 빨리 지나가는 것 같다(적응해서 그런가)🤔