[부스트캠프 AI Tech]WEEK 07_DAY 31

🥪 개별학습

---

[10] Experiment Toolkits & Tips

1. Tensorboard

1) 학습 과정을 기록하고 트래킹 할 수 있음

2) 코드

from torch.utils.tensorboard import SummaryWriter
logger = SummaryWriter(log_dir=f"results/{name}")

3) 사용방법

tensorboard
    --logdir PATH		# log가 저장된 경로
    --host ADDR			# 원격 서버에서 사용 시 0.0.0.0 (default:localhost)
    --port PORT			# 포트 번호

 

2. Weight and Bias(wandb)

1) 사용방법

- API key 입력하기

wandb login

- wandb init, log 설정

import wandb

wandb.init(config={"batch_size": batch_size,
		    "lr" : lr,
                    "epochs" : num_epochs,
                    "backborn" : name})
                    
wandb.log({"Train loss" : train_loss,
	    "Train acc" : train_acc})
         
wandb.log({"Valid loss" : val_loss,
	    "Valid acc" : val_acc})

2) 사용예시

 

3. Machine Learning Project

1) Jupyter Notebook

- 코드를 빠르게 cell 단위로 실행할 수 있는 것이 장점

- EDA 할 때 사용하면 편리함

- 단, 학습 진행 도중 노트북 창이 꺼지면 돌아갈 수 없음

2) Python IDLE

- 한 번만 구현하면 언제든지 사용할 수 있음(코드의 재사용)

- 디버깅 tool을 이용해서 코드 편집이 용이함

- 자유로운 실험 핸들링이 가능(args 이용)

---

---

🥪 오늘의 회고

오늘은 멘토링으로 하루를 시작했다! 대회가 얼마 남지 않았지만(...) 일주일 +@ 동안 했던 내용들 정리해서 멘토님께 알려드리고, 멘토님께서는 대부분 많이 시도해본 거 같다고 하셨는데 성능은 어떻게 향상시킬 수 있는건지 잘 모르겠다. 사실 뭔가 엄청난 걸 한다기보다 모델 바꿔보고, augmentation 적용해보고, 단순히 hyperparameter tuning 정도로 했기 때문에 급격한 성능 향상은 없었다. 대회 코멘트에 이어서 프로젝트 관리의 중요성에 대해 언급하셨는데 프로젝트 관리.. 항상 프로젝트 끝나면 정리해야 겠다고 마음은 먹지만 항상 실패하는 것 같다..^..ㅠ 그래도 이번에는 대회가 목요일에 끝나니까 금요일에는 꼭(!!!) 프로젝트 정리해서 깃허브에 올리기(목표!!) 벌써 내일이 마감인데 오늘까지 모델 열심히 돌려보고 그래도 경진대회인만큼 앙상블을 시도해보면서 끝까지 열심히 해보자아(0-0)