hye-log

🥪 오늘의 회고 부캠에서 처음으로 한 프로젝트 정리하는 날!! 오전 데일리 스크럼부터 Wrap-up report를 어떻게 작성할지 상의했다. 간단하게 outline을 작성하고, 워드로 쓰려 그랬는데 아무래도 협업해서 쓰기에는 노션만한 것이 없어서 노션으로 작성하기로 했다! 딱히 분담해서 쓰지는 않았지만, 그래도 각자 작성하고 수정하고를 반복했다. 나는 프로젝트 개요 부분을 작성했는데 인공지능 시간에 썼던 레포트(?) 툴을 가져와서 문제 정의, 데이터셋, 평가 지표에 대해서 작성했다. 그리고 역할로 데이터 분석을 적어서 Data Analysis에서 클래스 분포를 seaborn을 이용한 결과를 넣었다. 오후에는 개인 레포트 작성하다가, 스페셜 피어세션이 있어서 다른 캠퍼분들을 만났다. 다들 어떻게 대회 진행..

🥪 오늘의 회고 부캠에서 처음으로 도전해보는 마스크 분류 대회 마지막 날이다! 강의는 따로 듣지 않고 오전부터 모델 개선 & 앙상블 관련해서 찾아보았다. 오전에는 순위가 계속 낮아졌는데, 확실히 앙상블을 하니까 꽤 많이 올라갔다...!...!! 사실 multi-lable 분류는 처음이라서 어떻게 모델을 구성해야하나부터 고민했던 부분들이 있는데, 생각보다 시도한 것에 비해서는 성능이 크게 높아진 것은 아니라서 아쉬웠다ㅠㅠ 이번 대회하면서 가장 아쉬웠던 건 training으로 학습한 validation accuracy랑 f1 score가 생각보다 높게 나와서 학습이 잘 되고 있다고 생각했는데 overfitting 이었다..ㅠ overfitting 모델의 test f1 score는 잘 나와서 학습 방향을 어떻..

🥪 개별학습 [10] Experiment Toolkits & Tips 1. Tensorboard 1) 학습 과정을 기록하고 트래킹 할 수 있음 2) 코드 from torch.utils.tensorboard import SummaryWriter logger = SummaryWriter(log_dir=f"results/{name}") 3) 사용방법 tensorboard --logdir PATH# log가 저장된 경로 --host ADDR# 원격 서버에서 사용 시 0.0.0.0 (default:localhost) --port PORT# 포트 번호 2. Weight and Bias(wandb) 1) 사용방법 - API key 입력하기 wandb login - wandb init, log 설정 import wan..

🥪 개별학습 [9] Ensemble 1. Ensemble 1) 더 나은 성능을 위해 서로 다른 여러 학습 모델을 사용하는 것 2) Ensemble of Deep NN - Low Bias, High Variance -> Overfitting 3) Model Averaging(Voting) - 서로 다른 모델에게 각각의 특성이 있을 때 ensemble 효과가 있음 - hard voting : 높은 모델의 결과만 고려하는 것(다수결) - soft voting : 모든 모델의 결과를 고려하는 것(평균) 4) Cross Validation - valid set을 학습에 활용할 수는 없을까? 5) Stratified K-Fold Cross Validation - 가능한 경우를 모두 고려 - 분리할 때 Class 분..

🥪 개별학습 [8] Training & Inference 2 - Process 1. Training Process 1) Training 준비 2) Training 프로세스의 이해 - train : train mode에서 Dropout, BatchNorm 등에 영향을 끼칠 수 있기 때문에 mode 설정이 필요 train(mode=True) - optimizer.zero_grad() : optimizer가 backward 될 때 model 안에 있는 parameter를 업데이트하는데, batch iteration이 돌아가면서 zero_grad를 통해서 이전 batch의 grad가 남아있을 수 있기 때문에 초기화가 필요함 - loss : criterion라는 loss 함수를 통해서 outputs, labels..