[부스트캠프 AI Tech]WEEK 13_DAY 62

🫖 개별학습

---

[10] Back of Tricks

1. Synthetic Data

1) Need for Synthetic Data

(1) 성능 향상에 가장 중요한 것은 Data -> Data 확보는 어려움

- 도메인(예. Korean 등)에 따라 규모가 충분하지 않을 수도 있음

- 웹에서 이미지를 수집하면 라이센스에 제약이 있거나 직접 촬영해야 함

- annotation 생성의 난이도가 높고 비용이 많이 듦

(2) SynthText

https://github.com/ankush-me/SynthText

- 대표적인 합성 데이터셋

- 이미지 data + 글자 data

- Depth Estimation을 이용하여 적절한 위치, 표면에 글자 합성

(3) SynthText3D + UnrealText

- SynthText3D : 3D 가상 세계를 이용하여 텍스트 이미지 합성

- UnrealText : 3D Virtual Engine을 이용

(4) 사용 방법

- Pretraining 단계에서 Target dataset으로 학습 후 합성 데이터로 pretraining

 

2. Data Augmentation

1) Image Data Augmenation

- Geometric Transformation : Global-level의 변화  예) RandomCrop, Resize, Rotate, Flip, Shear 등

- Style Transformation : Local-level의 변화  예) ColorJitter, ChannelShuffle, NoiseFilter 등

2) Geometric Transformations for Text Images

- 글자가 포함되지 못하는 경우 -> 성능 저하가 발생될 수 있음

=> Positive Ratio 보장 -> 최소 1개의 개체 포함

- 글자가 잘려서 일부만 나타나는 경우 -> 모델에 혼동을 줄 수 있음

=> 개체 잘림 방지 -> 잘리는 개체가 없어야 함

---

---

🫖 오늘의 회고

annotation 대회의 마지막 날..!! annotation도 충분히 해보고 박스도 그려보고 전사도 해보고 검수도 해보고 데이터와 관련되어서 다양한 학습을 해본 대회이다! 막판에 했던 augmentation도 생각보다 성능이 약간 향상되어서 더 많은 augmentation 실험을 못해본 게 아쉽긴 하다;-; 모델은 고정되고 데이터만 가지고 진행된 대회이다보니 확실히 데이터가 많을수록 좋다는 것은 실험을 통해 확인할 수 있었다. 다만 annotation이 제대로 되었는지 검수하고 다시 annotation을 했는데도 성능이 향상되지 못한 것은 왜... 그런 것인지 아직까지도 의문으로 남아있다(ㅠ-ㅠ) 내일은 랩업 리포트 작성하고, 다른 팀들과 스페셜 피어세션도 있고, 마스터클래스도 있는데 다른 팀들은 어떻게 해결했는지 기대가 된다(!!)