[부스트캠프 AI Tech]WEEK 14_DAY 65

🎄 개별학습

---

[3] Semantic Segmentation의 기초와 이해

1. 대표적인 딥러닝을 이용한 세그멘테이션 FCN

1) Abstract

Long, J., Shelhamer, E., & Darrell, T. (2015). Fully convolutional networks for semantic segmentation. In  Proceedings of the IEEE conference on computer vision and pattern recognition  (pp. 3431-3440).

(1) backbone(extracting feature) : VGG 네트워크

(2) VGG FC layer -> Convolution으로 대체

(3) Transposed Convolution -> Pixel Wise Prediction 수행

2) VGG

- Image classifcation에서 좋은 성능

- pretrained network를 그대로 사용할 수 있음

3) Fully Connected Layer vs Convolution Layer

- Convolution Layer : 각 픽셀의 위치 정보를 그대로 가져옴

- Fully Connected Layer : flatten을 하기 때문에 위치 정보를 해침

- 1x1 Conv를 사용하는 이유 : kernel의 파라미터에 의해 영향을 받고, 이미지나 레이어 크기(height, width)와는 상관 없음

4) Transposed Convolution

- 줄어든 이미지를 복원하는 과정이기 때문에 upsampling

- convolution의 역연산이기 때문에 deconvolution

- convolution을 transpose 해서 transposed convolution

- 학습 가능한 파라미터를 통해서 줄어든 이미지를 다시 키우는 convolution

5) FCN에서 성능을 향상시키기 위한 방법

- MaxPooling에 의해서 잃어버린 정보를 복원해주는 작업을 진행

- Upsampled Size를 줄여주기 때문에 효율적인 이미지 복원 가능

6) 평가 지표

- Pixel Accuracy : True pixel / Total pixel

- Mean IoU : 클래스별 (Ground Truth∩Predict / Ground Truth∪Predict) 평균

---

---

🎄 오늘의 회고

강의..도 들어야 하지만 오전에는 최종 프로젝트 관련해서 어떤 데이터셋 있는지, 어떤 주제로 하면 좋을지 생각해보았다. 원래는 차량 파손 관련해서 프로젝트를 진행하려고 했는데, AI hub에서 데이터도 내려 받아서 하나씩 보고, 캐글에서도 어떤 대회들 열렸는지 찾아보았다. 어떤 프로젝트를 진행하든 데이터가 주어져야 할 수 있으니 데이터를 많이 찾아보는 수 밖에 없는 거 같다. 강의는 하나 정도 듣고, 서버 열어서 ssh 설정하는데 왜 할 때마다 헷갈리는걸까?(ㅠㅠ) 필요한 것들 깔고 주어진 베이스라인 코드도 살펴보았다. 멘토링 때에는 segmentation 대회 관련해서 멘토님이 간단하게 리뷰해주셨다. 흠 detection 때도 그렇고 확실히 transformer 이용한 모델이 많이 나오는거 같다..!