[부스트캠프 AI Tech]WEEK 05_DAY 19

🥔 개별학습

---

[6] CNN Visualization
1. Visualizing CNN
1) CNN visualization
(1) CNN에 대한 의문점
- CNN 안에 뭐가 들어있지?
- 왜 성능이 우수한거지?
- 어떻게 향상시킬 수 있지?
(2) ZFNet

- low-level에서 high-level까지 위치에 따라 어떤 지식을 배웠는지 deconvolution
- low-level : 사각형, 원형 등 단순 도형
- high-level : 의미 있는 표현 학습

2) neural network visualization의 구분

2. Analysis of model behaviors
1) Embedding feature analysis
(1) Nearest Neighbors(NN)
- DB에서 query image를 검색
- 비슷한 concept을 가진 example을 찾을 수 있음
- FC layer 전 추출된 features는 feature space 어딘가에 존재
- query image를 넣고 query feature와 가까운 DB image를 찾을 수 있음
- 검색을 통해서 특징 파악은 가능하지만 전체적인 분석은 어려움
(2) Dimensionality reduction(차원 축소)
- 추출된 feature가 고차원이기 때문에 저차원으로 표현
- t-SNE(t-distributed stochastic neighbor embedding) : class를 구분하여 모델이 헷갈리기 쉬운 경계를 파악할 수 있음
- mid-level to high-level hidden units : hidden unit을 통해 특정 feature를 찾는 unit을 찾음
- maximally activating patches : hidden unit에서 가장 큰 activation을 가지는 위치의 patch를 획득
- Gradient ascent : input의 score를 높이는 값으로 backpropagation

3. Model decision explanation
1) Saliency test
(1) Occlusion map : ocuulusion patch에 따라 score가 달라짐 → 검출에 민감하거나 덜 민감한 부분을 찾을 수 있음
(2) Backpropagation : class score를 계산하여 backpropagation으로 heatmap을 구함(밝은 부분일수록 유의미)
2) Backpropagate features
(1) Guided backpropagation : forward, backward에서 음수를 모두 0으로
(2) Class Activation Mapping(CAM)
- conv layer 마지막 단에 GAP layer를 붙여 class activation map을 구함
- 네트워크의 구조를 수정하기 때문에 재학습이 필요할 수 있음
- ResNet, GoogleNet은 이미 GAP layer를 가지고 있음
(3) GradCAM
- CAM과 달리 구조를 변경하거나 재학습을 하지 않아도 됨
- backbone이 CNN이기만 하면 어떤 task 든 사용 가능

---

---

🥔 오늘의 회고
부캠 5주차의 시작! 지난 주에 이어 이번 주도 CV 기초 이론을 학습한다. 화요일, 목요일에는 깃헙 특강이 있어서 한 주 동안 CV 남은 강의를 잘.. 나눠서 들어야 한다. 오늘은 CNN Visualization 강의를 들었는데 사실 CNN의 내부가 어떻길래, 어떤 특징을 보길래 성능이 좋은건지 궁금했었다. 모델 관점에서 또는 데이터 관점에서 CNN visualization을 통해서 CNN이 바라보는 feature를 파악할 수 있어서 신기했다. 내일은 깃헙 특강이 있으니 열심히 듣고, 강의도 하나 듣는걸로!