[부스트캠프 AI Tech]WEEK 04_DAY 18

🚀 개별학습

---

[5] Object Detection

1. Object Detection

1) classfication + box localization(bounding box)

2) 자율주행, OCR 등에서 활용

 

2. Two-stage detector

1) R-CNN

- 영상에서 region proposal을 제시한 후 CNN 모델을 통해 object detection 수행

Girshick, R., Donahue, J., Darrell, T., & Malik, J. (2014). Rich feature hierarchies for accurate object detection and semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 580-587).

- Input으로 image를 넣음

- 약 2000개 이하로 region proposal을 구함

- 각 region proposal을 사이즈(224×224)에 맞게 잘라서 CNN을 태움

- classify(분류)함

- 한계 : region proposal 하나씩 CNN에 태우다보니 속도가 느리고 성능 향상에 한계가 있음

2) Fast R-CNN

- 영상 전체에 대한 feature 추출 후 재활용해서 여러 object detection 수행

Girshick, R. (2015). Fast r-cnn. In  Proceedings of the IEEE international conference on computer vision  (pp. 1440-1448).

- input image에서 conv feature map을 추출

- feature map을 통해 ROI(Region of Interest)에 해당하는 feature 추출

- 각각의 ROI에서 class와 box 예측

- 장점 : feature map으로 R-CNN에 비해 성능 향상을 이룸

- 한계 : 데이터만으로 성능을 높이는 데에는 한계가 있음

3) Faster R-CNN

- neural region proposal로 end-to-end 방식의 object detection 수행

Ren, S., He, K., Girshick, R., & Sun, J. (2015). Faster r-cnn: Towards real-time object detection with region proposal networks.  Advances in neural information processing systems ,  28 .

- feature map에서 Region Proposal Network(RPN)으로 여러 proposal을 제안한 후 ROI pooling을 수행

4) R-CNN family 요약

https://lilianweng.github.io/posts/2017-12-31-object-recognition-part-3/

 

3. Single-stage detector

0) one-stage vs. two-stage

- one-stage detector : 정확도는 떨어지지만 시간이 단축됨(실시간 처리에 유용)

- two-stage detector : 정확도가 높지만 시간이 오래 걸림(R-CNN family와 같이 몇몇 sampling 된 region을 선별하여 detection 진행)

1) YOLO(You Only Look Once)

Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once: Unified, real-time object detection. In  Proceedings of the IEEE conference on computer vision and pattern recognition  (pp. 779-788).

- input 이미지를 S×S grid로 나눈 후 bounding box를 찾고, class score를 구함

- bounding box 영역의 class score를 최종적으로 출력

- 한계 : 마지막에만 classification을 하기 때문에 localization 정확도는 떨어짐

2) SSD(Single Shot multibox Detector)

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., & Berg, A. C. (2016, October). Ssd: Single shot multibox detector. In  European conference on computer vision  (pp. 21-37). Springer, Cham.

- multi-scale object를 잘 처리하기 위해서 중간 feature map을 해상도에 맞게 출력함

 

4. Two-stage detector vs. One-stage detector

1) Focal loss

- one-stage detector는 모든 영역에서 loss를 계산함

- 일반적으로 영상에서 object 영역보다 background 영역이 넓음 -> class imbalance 발생

Lin, T. Y., Goyal, P., Girshick, R., He, K., & Dollár, P. (2017). Focal loss for dense object detection. In  Proceedings of the IEEE international conference on computer vision  (pp. 2980-2988).

- cross entropy의 확장 버전으로, 정답에서 멀수록 강한 weight, 정답에서 가까울수록 작은 weight를 부여

2) Retinanet

Lin, T. Y., Goyal, P., Girshick, R., He, K., & Dollár, P. (2017). Focal loss for dense object detection. In  Proceedings of the IEEE international conference on computer vision  (pp. 2980-2988).

- one-stage network

- Feature Pyramid Networks(FPN)을 통해서 low level의 특징과 high level의 특징을 모두 가져감

- class와 box prediction branches를 채택

 

5. Detection with Transformer

0) Transformer

- NLP에서만 사용하던 transformer를 computer vision task에도 적용하려는 움직임이 있음

- ViT(Vision Transformer) by Google

- DeiT(Data-efficient image Transformer) by Facebook

- DETR(DEtection TRansformer) by Facebook

1) DETR

Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., & Zagoruyko, S. (2020, August). End-to-end object detection with transformers. In  European conference on computer vision  (pp. 213-229). Springer, Cham.

- transformer를 object detection에 적용한 사례

- CNN과 positional encoding으로 input token을 넣고, object queries를 통해 물체가 있는지(class/no object), 있다면 어디에 있는지(box)를 예측함

---

---

🚀 오늘의 회고

데일리 스크럼 시간에는 하루동안 목표량 정하고 어제 슬랙에 올렸던 문제 하나에 대해서 이야기했다. 과제에서 더 모델 학습해보는 문제였는데 값을 바꿀 때마다 다른 결과가 나와서 어떤 것이 문제에서 의도하는 바인지 잘 모르겠어서 질문했다. 강의 하나 듣고 점심 먹고 다시 돌아와서 강의 내용 정리했다. 이번 주 내내 뭔가 쫓기듯이 공부하느라 강의 듣고 바로 정리하지 못했는데, 확실히 강의 듣고 바로 정리하는 것이 더 정리하기 편한 것 같다. 금요일은 3시간 동안 줌.. 하는 날...! 스페셜 피어세션을 시작으로 피어세션, 마스터 클래스까지 완주했다! 스페셜 피어세션 때는 아무래도 요즘 최대 관심사가 팀 빌딩이다보니 팀 어떻게 구성하고 있는지, 어떤 분야에 관심이 있는지 이야기했다. 아무래도 가장 걱정되는 건 취업과 탈주..가 아닐까 싶다..(ㅋㅋ) 피어세션 때에는 스페셜 피어세션 때 어떤 이야기 나누었는지 이야기하고, 일주일 회고록 작성했다. 마스터클래스에서는 과제 문제에 대한 해설을 진행해주셨는데 과제에서 의도하고자 하는 바들을 잘 정리해서 말씀해주셔서 도움이 많이 되었다! 벌써 부캠 시작한지 4주나 지났다. 주말에 쉬지 못하지만(...) 부캠 없는 코테로 가득한 주말을 보내고 5주차도 열심히 달려보는걸로 가즈아🚀

 

+ TMI

비루한 블로그에 부캠 회고록 덕분에 방문수가 올랐다 300 이라니 별거 없는 블로그에 찾아와주셔서 감사합니다(꾸벅)