[부스트캠프 AI Tech]WEEK 05_DAY 21

🥔 개별학습

---

[8] Conditional Gereative Model

1. Conditional generative model

1) 주어진 '조건'에 대응하는 이미지를 생성하게 됨

2) Generative model vs. Conditional generative model

- Generative model : 단순히 random sample을 생성

- Conditional generative model : condition에 맞는 random sample을 생성

3) Conditional generative model의 예시

- audio super resolution : 저퀄리티의 음성을 고퀄리티 음성으로 변환

- machine translation : 번역기

- article generation with the title : 타이틀과 부제목이 주어지면 관련된 내용(article)을 작성

4) Image-to-Image 

- image를 다른 image로 translating

- Style Transfer, Super resolution, Colorization 등

5) Example: Super resolution

- Input : 저해상도(LR) 이미지 -> Output : 고해상도(HR) 이미지

- Naive Regression model : MAE(L1) or MSE(L2) loss 사용

- Super Resolution GAN : Real HR Image와 Fake HR Image를 판별함

- MAE/MSE : 생성된 patch를 기준으로 다른 patch와의 error를 계산하여 적당한 평균 이미지를 생성

- GAN : real data와 구분 못하는 게 목적이기 때문에 기존의 blurry한 문제를 해결

 

2. Image translations GANs

1) Pix2Pix

(1) 문제 정의

- 이미지를 style과 같이 다른 도메인으로 변환하는 것

- 예) label to street scene, label to facade, bw to color, aerial to map, day to night, edges to photo

Isola, P., Zhu, J. Y., Zhou, T., & Efros, A. A. (2017). Image-to-image translation with conditional adversarial networks. In  Proceedings of the IEEE conference on computer vision and pattern recognition  (pp. 1125-1134).

(2) Loss function

Isola, P., Zhu, J. Y., Zhou, T., & Efros, A. A. (2017). Image-to-image translation with conditional adversarial networks. In  Proceedings of the IEEE conference on computer vision and pattern recognition  (pp. 1125-1134).

- GAN loss : realistic 한 결과를 유도함

- L1 loss : blurry 한 이미지 생성. 적당한 가이드를 만듦

(3) GAN loss의 역할

- L1 loss만 사용하면 blurry한 이미지를 생성

- GAN loss 만 사용하면 sharp한 이미지가 만들어지지만 style 유지가 되지 않음

- L1 loss와 GAN을 모두 사용해야 style도 유지되고 sharp한 이미지가 만들어짐

2) CycleGAN

(1) 문제 인식

- Pix2Pix의 경우 pairwise data를 필요로 함

- unpaired data로도 image를 생성할 수 있는가?

(2) CycleGAN의 특징

- non-pairwise dataset으로도 이미지 translation이 가능

Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In  Proceedings of the IEEE international conference on computer vision  (pp. 2223-2232).

(3) Loss function - GAN Loss

Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In  Proceedings of the IEEE international conference on computer vision  (pp. 2223-2232).

- G : input X로 output Y를 생성하는 generator

- F : input Y로 oupput X를 생성하는 generator

- Dx : X style로 갔는지 판별하는 discriminator

- Dy : Y style로 갔는지 판별하는 discriminator

(4) Model Collapse

- GAN Loss만 사용할 때의 문제점

- input에 상관없이 하나의 output만을 생성

- 어떤 X(input image)를 넣든 Y(realistic image)가 같음 -> Dy는 Y를 보고 항상 realistic 하다고 판단 -> G가 잘하고 있다고 판단

- 마찬가지로 Y를 넣으면 항상 X가 같음 -> Dx는 X의 style만 보고 맞다고 판단 -> F가 잘하고 있다고 판단

(5) Cycle-consistency loss

Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In  Proceedings of the IEEE international conference on computer vision  (pp. 2223-2232).

- X -> Y / Y -> X  에서 차이가 있으면 안 됨(content가 유지되어야 함)

3) Perceptual loss

(1) GAN train의 어려움

- generator-discriminator 사이의 경쟁을 하기 때문에 GAN은 학습하기 어려움

- GAN 없이 high-quality image를 얻을 수 있나?

(2) GAN loss vs. Perceptual loss

- GAN loss : train, 코드 작성이 어려움. pre-trained network 필요 없음. application 제약 X

- Perceptual loss : train, 코드 작성 편함. pre-trained network 필요

(3) Observation

- Pre-trained classifier가 사람의 지각능력과 유사함

- image를 perceptual space로 변환

(4) Perceptual loss

- Feature reconstruction loss : feature map 사이의 loss를 구하여 content를 유지하는지 확인

- Style reconstruction loss : feature map의 통계적 특성을 포함하는 gram matrix를 생성하여 multiple feature map을 얻음

 

3. Various GAN applications

1) Deepfake

- 사람의 얼굴이나 음성을 다른 얼굴이나 음성으로 바꿈

2) Face de-identification

- 사람의 얼굴을 식별하지 못하게 비슷한 모습으로 바꿈

3) Video translation

---

---

🥔 오늘의 회고

오늘은 generative model 강의를 들었다. generative model은 흥미로운 주제이긴한데 학술적으로 파고 들면 어려운.. 것 같다.. 최근에 달리와 같은 생성 모델 사이트가 인기를 끌고 있는데, 단순히 재미있는 application으로도 작용할 수 있지만, 데이터를 생성하는 데에도 중요한 역할을 하고 있어서 계속 연구할만한 주제이기는 하다. 피어세션 때에는 perceptual loss에 대해서 이야기했는데 loss를 수식적으로 파고 들면 헷갈리는 부분이 생기는 것 같다. 내일은 하루 종일(..) 깃허브 특강이 있는데 마지막 특강인만큼 열심히 들어야지!