[부스트캠프 AI Tech]WEEK 02_DAY 10

🎀 개별학습

---

[10] PyTorch Troubleshooting

1. OOM(Out Of Memory)

1) batch size를 줄이고 -> GPU를 비우고 -> Run

2) GPU Util 사용하기

- nvidia-smi, Colab 등에서 GPU 상태 확인

- iter마다 메모리가 늘어나는지 확인할 것

3) torch.cuda.empty_cache()

- 사용하지 않은 GPU 상 cache를 정리해서 가용 메모리를 확보

4) training loop에 tensor로 축적되는 변수 확인하기

- tensor로 처리된 변수는 GPU 상 메모리 사용

- 해당 변수가 loop 연산에 있으면 computation graph를 생성

5) del 명령어 적절히 사용하기

6) 가능한 batch 사이즈 실험해보기

- batch size 1로 해서 실험해보기

7) torch.no_grad() 사용하기

 

2. 예상치 못한 에러 메시지

1) CUDNN_STATUS_NOT_INIT, device-side-assert 등

- 적절한 코드 처리가 필요함

2) colab에서 너무 큰 사이즈는 실행하지 말 것(linear, CNN, LSTM)

3) CNN의 대부분의 에러는 크기가 안 맞아서 생기는 경우(torchsummary 활용)

4) tensor의 float precision을 16bit로 줄일 수 있음

---

---

🎀 오늘의 회고

오전에는 남은 파이토치 강의 하나 듣고! 드디어 파이토치 주간이 끝났다~ 하지만 부덕이랑 데이터셋&데이터로더 부분 복습하고 이번 주 마무리 하는걸로...! 오늘은 1시간씩 줌 3개를 연달아 하려니 조금은 힘든 날..^..ㅠ 처음으로 스페셜 피어세션을 진행했는데, 다른 조에 있는 캠퍼분들과 랜덤으로 모여서 이야기 나누는 시간이었다. 처음 보는 캠퍼들도 있어서 어색함 속에 자기소개도 하고, 피어세션 때 어떤 것을 하는지, 멘토링 시간에는 무엇을 하는지 질문하면서 시간을 보냈다. 내면에서 가끔 나오는 19%의 E 성향을 꺼내서 나름(?) 적극적으로 질문했다.. 다른 캠퍼분들 덕분에 오디오 안 비고 1시간 동안 유익한 시간이었던 것 같다. 다시 피어세션으로 돌아와서 각자 스페셜 피어세션에서 나눈 이야기들 공유하는데 공통적으로 많았던 활동 중 하나가 논문이었다. 그래서 우리 조도 논문 읽기를 시작해보려고 하는데, 사실 강의나 과제 양을 보면 생각보다 할 일이 많아서(ㅠㅠ) 다 소화하는데 무리가 있지 않을까해서 기술적인 논문을 읽기보다는 컴퓨터 비전의 다양한 분야들(detection, segmentation, GAN 등..) 위주로 논문을 읽어보기로 했다!! 마스터클래스에서는 동영상으로만 보던 최성철 교수님께서 Data Centric AI라는 주제로 강연을 해주셨는데, 정말 재미있는 PPT와 인생 교훈들을 남겨주시면서 마무리해주셨다. WEEK 02도 벌써 끝! 다음 주는 10월이다ㅎ-ㅎ