[부스트캠프 AI Tech]WEEK 05_DAY 20

🥔 개별학습

---

[7] Instance/panoptic segmentation
1. Instance segmentation
1) Instance segmentation

- Semantic segmentation + instance 구분
2) Instance segmentors
(1) Mask R-CNN
- FAST R-CNN : ROI pooling → 정수 좌표만 지원
- Mask R-CNN : ROI Align → interpolization을 통해 소수점까지 지원하므로 정교한 feature를 뽑을 수 있음

He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2017). Mask r-cnn. In *Proceedings of the IEEE international conference on computer vision*  (pp. 2961-2969).

- upsampling으로 채널 차원 축소
- 80개의 클래스를 고려(prediction)
(2) YOLACT(You Only Look At CoefficienTs)

Bolya, D., Zhou, C., Xiao, F., & Lee, Y. J. (2019). Yolact: Real-time instance segmentation. In *Proceedings of the IEEE/CVF international conference on computer vision*  (pp. 9157-9166).

- backbone은 Feature Pyramid 구조
- Protonet : mask를 합성할 수 있는 component인 prototype을 추출해서 사용
- Mask Coefficients : mask 합성을 위한 계수
(3) YoloactEdge

Liu, H., Soto, R. A. R., Xiao, F., & Lee, Y. J. (2021, May). Yolactedge: Real-time instance segmentation on the edge. In *2021 IEEE International Conference on Robotics and Automation (ICRA)*  (pp. 9579-9585). IEEE.

- video에 대해서 YOLACT를 개선한 네트워크
- key frame의 feature를 다음 frame에 전달

2. Panoptic segmentation
1) semantic segmentation vs. panoptic segmentation
- semantic segmentation : stuff + things (객체 구별 x, 배경 구분 o)
- panoptic segmentation : stuff + instances of things (객체 구별 o, 배경 구분 o)
2) UPSNet

Xiong, Y., Liao, R., Zhao, H., Hu, R., Bai, M., Yumer, E., & Urtasun, R. (2019). Upsnet: A unified panoptic segmentation network. In *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*  (pp. 8818-8826).

- FPN 구조
- semantic head(fully conv 구조로 semantic prediction 수행), instance head(mask logit 추출)로 나뉨
- instance head : instance의 mask를 생성한 뒤 thing mask와 합쳐져서 output에 들어감
- semantic  head : thing mask에서 instance mask를 빼서 파악한 물체가 output에 들어감. stuff mask는 그대로 output에 들어감
- panoptic head를 통해서 하나의 semantic map으로 합쳐짐
3) VPSNet

Kim, D., Woo, S., Lee, J. Y., & Kweon, I. S. (2020). Video panoptic segmentation. In *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*  (pp. 9859-9868).

- panoptic segmentation을 video로 확장
- target feauture map에 reference feature를 할당
- VPN을 통해 tracking head를 통해서 연관성 만들기(같은 물체는 같은 ID를 가지도록)
- BBox haed, Mask head, Semantic head를 하나의 Panoptic head로 합치기

3. Landmark localization
1) Landmark localization(keypoint estimation)

- 중요하다고 생각하는 특징을 정의한 뒤 추정, 추적함
2) Coordinate regression vs. Heatmap classification
- Coordinate regression : 부정확하고 일반화에 문제가 있음
- Heatmap classification : key point가 발생할 확률을 heatmap으로 표현. 성능이 좋지만 계산량이 많음
3) Hourglass network

Newell, A., Yang, K., & Deng, J. (2016, October). Stacked hourglass networks for human pose estimation. In *European conference on computer vision*  (pp. 483-499). Springer, Cham.

- 영상을 작게 만들고 receptive field를 키움
- skip-connection을 통해 low-level의 feature를 파악
- stack을 통해서 feature를 구체화함
4) DensePose
- 3D와 2D를 1:1로 매칭하는 UV map을 사용
- DensePose R-CNN = Faster R-CNN + 3D surface regression branch
5) RetinaFace
- RetinaFace = FPN + Multi-task branches
- Multi-task branches : 다양한 task를 한 번에 수행할 수 있는 branch

4. Detecting objects as keypoints
1) CornerNet & CenterNet
- CornerNet : bounding box가 {top-left, bottom-right} 두 점을 활용
- CenterNet : bounding box가 {top-left, bottom-right, center} 세 점을 활용
- CenterNet : {width, height, center} 세 점을 활용

---

---

🥔 오늘의 회고
오전부터 깃허브 강의로 시작했다. 두 번째 깃허브 특강에서는 add, gitignore, checkout, reset, merge에 대해서 알아보았다. 항상 파일 add 하기만 하고, 코드 위치와 같은 개인 정보가 담긴 파일이 깃허브에 올라가기도 했는데 gitignore을 통해서 앞으로 업로드에 주의해야겠다고 생각했다.. checkout과 reset은 아직도 헷갈려서 복습 강의를 봐야할거 같다. 피어세션까지 마치고 나니 벌써 5시 ‘0’..! 강의 하나 들었는데 오늘도 하루가 지나가버렸다~ 내일은 강의 열심히 듣고 과제 제출까지 하는걸로,,,+_+