[부스트캠프 AI Tech]WEEK 04_DAY 16

🚀 개별학습

---

[1] Computer Vision 이란

1. Course Overview

1) AI는 사람의 지능을 컴퓨터로 구현한 것

2) 오감(sight, sound, touch, taste, smell) + 복잡한 감각(social, face, touch, speech)로도 정보 획득 가능

3) 인간은 눈으로 어떤 장면을 관찰하면 -> 수정체 뒤에 상이 맺히고 -> 뇌에 전달되어 -> 해석함

4) 컴퓨터는 카메라를 통해 영상을 생성하고 -> 알고리즘을 통해 해석하고 -> high-level representation으로 변환함

5) computer graphics : 정보를 통해 영상을 rendering 하는 것

- computer vision : computer graphics의 역과정

6) 머신러닝에서 컴퓨터 비전의 연구

- input(데이터 추출) -> feature extraction(전문가가 특징 추출) -> classification(분류) -> output(결과)

7) 딥러닝에서 컴퓨터 비전의 연구

- input(데이터 추출) -> feature extraction + classification(end-to-end 방식의 특징 추출과 분류) -> output(결과)

 

2. Image Classification

1) Input(영상) -> Classifier(분류) -> Output(카테고리나 클래스와 같은 출력)

2) k Nearest Neightbors(k-NN) 방식으로 분류 문제 해결

- 이 세상의 모든 데이터를 사용하는 것은 불가하고, image 간 관련성 정의도 어려움

3) Convolutional Neural Networks(CNN)

- 방대한 데이터를 시스템에 녹여 넣음

- Fully Connected Network(FCN)은 모든 pixel을 고려하여 하나의 특징을 관찰

- Locally Connected Network은 공간적 특성을 고려하여 국부적으로 선택

- backbone에 따라 다양한 task 수행

 

3. CNN architectures for image classification

1) AlexNet

- Conv - Pool - Conv - Pool - FC -FC 구조

- 더 깊어진 레이어(7 hidden layers)

- 더 많아진 파라미터(60 million parameters)

- 더 많은 데이터로 학습(ImageNet), ReLU 사용

- GPU 문제로 두 갈래로 나누어서 그려진 구조가 특징. 일부에서 cross connection으로 연결되어 있음

- Local Response Normalization(LRN) 사용 -> 지금은 Batch Normalization 사용

- 11×11 conv filter 사용

- K×K conv, stride 1, P×P pool layer가 있을 때, 생성되는 layer의 크기는 (P+K-1)×(P+K-1)

2) VGGNet

- 더 깊어진 구조(16, 19 layers)

- 더 간단한 구조(3×3 conv filters, 2×2 max pooling 사용)

- 더 나은 성능(AlexNet보다 성능 향상)

- 더 나은 일반화(fine-tuning 없이도 다른 task에 적용 가능)

---

[2] Data Augmentation

1. Data augmentation

1) Neural Network는 데이터셋의 특징을 압축하여 학습함

2) train 데이터는 실제 데이터의 극히 일부에 해당

3) train 데이터와 실제 데이터 간의 gap이 존재

- 예를 들어 train 데이터셋이 밝은 영상을 위주로 모델 학습을 진행했을 때, 실제 데이터로 어두운 영상이 주어지면 모델이 혼란스러울 수 있음

4) augmentation data는 train 데이터와 실제 데이터간 gap을 줄여주고 데이터를 풍부하게 만들어줌

5) crop, shear, brightness, perspective, rotate 등을 활용

 

2. Leveraging pre-trained infromation

1) 높은 품질의 데이터셋을 얻기 위해서는 그에 맞는 label이 필요함

2) transfer learning은 사전 지식을 활용해서 연관된 task에 적은 노력으로도 높은 성능을 도달하는 것이 목표

3) 접근 방법 1. conv layer 뒤에 새로운 FC layer를 붙이기

4) 접근 방법 2. conv layer는 낮은 learning rate로 느리게 학습하고, 새로운 FC layer는 높은 learning rate로 빠르게 학습하기

5) knowledge distillation(지식 증류)

- teacher-student learning : teacher(big model)의 지식을 student(small model)로 전달하는 방식

- Knowledge distillation : teacher model의 결과와 비슷하게 예측

- T(Softmax with temperature) : softmax의 값을 smooth하게 벌려줌

예) (5, 10) -> (Normal Softmax) (0.0067, 0.9933)

                    -> (Softmax with temperature) (0.4875, 0.5125)

6) Hard label vs. Soft label

- Hard label(One-hot vector) : 정답은 N개 중 하나

- Soft label : 0~1 사이의 값으로 결과값 존재

7) Distillation Loss

- KL div(Soft label, Soft prediction)

- teacher network와 student network 간의 차이 (teacher network가 아는 것을 학습)

8) Student Loss

- CrossEntropy(Hard label, Soft prediction)

- student network와 true label 간의 차이 (right answer를 학습)

 

3. Leveraging unlabeled datset for trainign

1) Semi-supervised learning : Unsupervised(No label) + Fully supervised(fully labeled)

2) Pseudo-labeling unlabeled data using pre-trained model

- labeled data로부터 모델 학습

- pre-trained model을 사용하여 unlabeled data에서 label 예측

- labeled dataset과 pseudo-labeled dataset을 사용하여 모델 학습

3) Self-training : Augmentation + Teacher-Student networks + Semi-supervised learning

- labeled data로 teacher model 학습

- teacher mdoel을 사용하여 unlabeled data의 pseudo-label 생성

- labeled data와 unlabled data를 사용하여 student model 학습

- student model을 새로운 teacher model로 보고, 새로운 student 모델을 학습

- 이 과정을 반복

 

---

---

🚀 오늘의 회고

오전에는 컴퓨터 비전 도메인 강의를 들었다! 강의 듣고 과제 해보는데 Resnet 구현과 Augmentation을 이용하여 모델 학습하는 과제를 해보았다. Resnet 구현은 어렵다.. 내일 다시 한 번 도전해보기로.. 피어세션 때에는 Level 2 과정에서 새로운 팀 빌딩을 어떻게 할지, 각자 관심 있는 분야는 어떤 것이 있는지 이야기하는 시간을 가졌다. 나는 팀원 찾기에 아직 글을 못 올려서 어떤 프로젝트 하고 싶은지, 어떤 프로젝트 경험해봤는지 정리해봤다. 여전히 어떤 분야로 가야할지는 진짜 잘 모르겠다.. 부캠 스몰톡 시간에는 ZEP에서 간단한 네트워킹 하는 시간을 가졌는데, ZEP 메타버스 신기했다 +_+ 다양한 분들도 만나면서 확실하게 자기 분야가 정해진 분들이 정말 부러웠다.. 팀 꾸리기 전에 확실하게 분야 하나가 정해야겠다고 생각했다...