[부스트캠프 AI Tech]WEEK 02_DAY 07

🎀 개별학습

---

[4] AutoGrad & Optimizer

1.  torch.nn.Module

1) 딥러닝을 구성하는 Layer의 base class

2) Input, Output, Forward, Backward, parameter(tensor) 정의

https://github.com/Vercaca/NN-Backpropagation

3) nn.Parameter

- Tensor 객체의 상속 객체

- nn.Module 내에서 attribute가 될 때는 required_grad=True (AutoGrad)로 지정되어 학습 대상이 되는 Tensor

- 대부분의 layer에는 weights 값들이 지정되어 있음(직접 선언할 일이 거의 없다)

4) Backward

- Layer에 있는 Parameter들의 미분을 수행

- Forward의 결과값(예측치)와 실제값 간의 차이(loss)에 대해 미분을 수행

- 해당 값으로 Parameter 업데이트

---

[5] PyTorch datasets & dataloaders

1. Dataset 클래스

1) 데이터의 입력 형태를 정의하는 클래스

2) 데이터 형태에 따라 함수를 다르게 정의함

3) 모든 것을 데이터 생성 시점에 처리할 필요 없음  (예) image의 Tensor 변환은 학습에 필요한 시점에서 변환

4) 데이터셋에 대한 표준화된 처리방법 제공 필요

5) 최근에는 HuggingFace 등 표준화된 라이브러리 사용

 

2. Dataloader 클래스

1) 데이터의 batch를 생성해주는 클래스

2) Tensor로 변환 + batch 처리

3) 병렬적인 데이터 전처리 코드의 고민 필요

DataLoader(dataset,
	    batch_size=1,
            shuffle=False,
            sampler=None,
            batch_sampler=None,
            num_workers=0,
            collate_fn=None,
            pin_memory=False,
            drop_last=False,
            timeout=0,

 

---

🎀 오늘의 회고

PyTorch 2일차..!! 우선 강의 밀리지 않게 4, 5강부터 듣고.. 2주차지만 뭔가 본격적으로 하는거 같아서 좋다. 예제 코드 따라서 코딩해보면서 많고 많은 코드에 파 묻힐뻔 했다.. 강의를 다 듣고 어제 끝내지 못한 기본 과제1을 하러 갔는데.. 부덕아... 부덕아!!!!!!!!!!!!!!!!!! 끝이 없는 스크롤과 끝이 없는 숨겨진 셀에 부덕이의 날개랑 나의 손을 바꾸고 싶었다.. 부덕이는 왜 이렇게 똑똑한거야.. 날개로 코딩도 할 줄 알고.. 나도 모르는 코드를 미리 입력해오고.. 부덕이.. 참 좋은 친구구나.... 아무튼 과제1 어느 정도 한거 같은데 부덕이랑 공부하다가 내용이 너무 많아서 혼돈의 연속이었다...+_+(정신줄 붙잡아!!) 내일도 강의 듣고 기본 과제 해야지... 부덕아 잘부탁해..🦆