[부스트캠프 AI Tech]WEEK 02_DAY 06

🎀 개별학습

---

[1] Introduction to PyTorch

1. 딥러닝의 프레임워크

1) computation 관점에서 PyTorch와 TensorFlow의 차이

- PyTorch : Define by Run

- TensorFlow : Define and Run

- 참고 자료 : https://datasciencecareer.wordpress.com/2020/12/09/ml03-pytorch-vs-tensorflow/

 

2. Computational Graph

1) 연산 과정을 그래프로 표현

2) Define and Run : 그래프를 먼저 정의하고 실행 시점에 데이터를 가져옴

3) Define by Run(Dynamic Computational Graph) : 실행을 하면서 그래프를 생성함 -> Pythonic Code

 

3. PyTorch

1) Numpy 구조를 가지는 Tensor 객체로 array  표현

2) 자동미분을 지원하여 DL 연산 지원

3) 다양한 형태의 DL을 지원하는 함수, 모델을 지원

---

[2] PyTorch Baiscs

1. Tensor

1) 다차원 Arrays를 표현하는 PyTorch 클래스

2) numpy의 ndarray와 동일(TensorFlow의 Tensor와 동일)

 

2. view() vs. reshape()

1) tensor의 모양을 바꾸는 함수

2) view() : 원본 데이터와 연결되어 기존 데이터가 변경되면 view 함수로 생성된 데이터도 변경됨

# tensor -> view : 원본 데이터와 연결
a = torch.zeros(3, 2)       # tensor([[0., 0.], [0., 0.], [0., 0.]])
b = a.view(2, 3)            # tensor([[0., 0., 0.], [0., 0., 0.]])
a.fill_(1)                  # tensor([[1., 1.], [1., 1.], [1., 1.]])

b			    # tensor([[1., 1., 1.], [1., 1., 1.]])

3) reshape() : 원본 데이터의 복사본을 만들어 기존 데이터가 변경되도 reshape 함수로 생성된 데이터는 변경되지 않음

# tensor -> reshape : 복사본을 반영
a = torch.zeros(3, 2)         # tensor([[0., 0.], [0., 0.], [0., 0.]])
b = a.t().reshape(6)          # tensor([0., 0., 0., 0., 0., 0.])
a.fill_(1)                    # tensor([[1., 1.], [1., 1.], [1., 1.]])

b			      # tensor([0., 0., 0., 0., 0., 0.])

 

3. torch.squeeze() vs. torch.unsqueeze()

1) squeeze() : 차원의 개수가 1인 차원을 삭제

# squeeze
tensor_ex = torch.rand(size=(2, 1, 2))
print(tensor_ex.squeeze())
print(tensor_ex.squeeze().shape)        # torch.Size([2, 2])

2) unsqueeze() : 차원의 개수가 1인 차원을 추가

# unsqueeze
tensor_ex = torch.rand(size=(2, 2))
print(tensor_ex.unsqueeze(0))
print(tensor_ex.unsqueeze(0).shape)     # torch.Size([1, 2, 2])

 

4. torch.mm() vs. torch.matmul()

1) 행렬곱을 수행하는 함수

2) torch.mm() : 2차원 행렬곱을 계산. 차원이 맞아야 함.

# Plus Case - 2차원 행렬과 2차원 행렬의 곱은 mm으로 계산 가능
a = torch.rand(2, 3)        # torch.Size([2, 3])
b = torch.rand(3, 1)        # torch.Size([3, 1])
a.mm(b)                     # torch.Size([2, 1])

+ torch.bmm() : 3차원 행렬곱을 계산. 차원이 맞아야 함.

# Plus Case - 3차원 행렬과 3차원 행렬의 곱은 bmm으로 계산 가능
a = torch.rand(5, 2, 3)
b = torch.rand(5, 3, 2)
a.bmm(b)

3) torch.matmul() : broadcast(차원이 맞지 않은 객체끼리 연산되도록 하는 것) 지원

# Sucess Case - 3차원 행렬과 1차원 벡터의 곱은 matmul로 계산 가능(broadcasting)
a = torch.rand(5, 2, 3)     # torch.Size([5, 2, 3])
b = torch.rand(3)           # torch.Size([3])
a.matmul(b)                 # torch.Size([5, 2])

---

[3] PyTorch 프로젝트 구조 이해하기

1. PyTorch Project Template

1) 실행, 데이터, 모델, 설정, 로깅, 지표, 유틸리티 등 다양한 모듈들을 분리하여 프로젝트 템플릿화

2) 추천하는 repository

- https://github.com/FrancescoSaverioZuppichini/PyTorch-Deep-Learning-Template

- https://github.com/PyTorchLightning/deep-learning-project-template 

- https://github.com/victoresque/pytorch-template

GitHub - victoresque/pytorch-template: PyTorch deep learning projects made easy.

pytorch-template/
│
├── train.py - main script to start training
├── test.py - evaluation of trained model
│
├── config.json - holds configuration for training
├── parse_config.py - class to handle config file and cli options
│
├── new_project.py - initialize new project with template files
│
├── base/ - abstract base classes
│   ├── base_data_loader.py
│   ├── base_model.py
│   └── base_trainer.py
│
├── data_loader/ - anything about data loading goes here
│   └── data_loaders.py
│
├── data/ - default directory for storing input data
│
├── model/ - models, losses, and metrics
│   ├── model.py
│   ├── metric.py
│   └── loss.py
│
├── saved/
│   ├── models/ - trained models are saved here
│   └── log/ - default logdir for tensorboard and logging output
│
├── trainer/ - trainers
│   └── trainer.py
│
├── logger/ - module for tensorboard visualization and logging
│   ├── visualization.py
│   ├── logger.py
│   └── logger_config.json
│  
└── utils/ - small utility functions
    ├── util.py
    └── ...

 

---

🎀 오늘의 회고

새로운 한 주, WEEK 02가 시작되었다🎉 이번 주의 주제는 PyTorch인데, 생각해보면 인공지능을 2년(?) 정도 다뤘지만 지금까지 파이토치에 대한 강의는 들어본 적이 없는거 같다..(그동안 어떻게 개발하고 코드 짠 걸까... 항상 구글신과 함께) 그래서 지난주에 가볍게 살펴 본 파이썬과 통계와는 달리, 파이토치는 애매모호한 개념들을 다시 정리하고, 누군가 물어봤을 때 완벽하게 대답할 수 있도록 공부하는 것이 이번 주의 목표이다! 특히나 view-reshape, squeeze-unsqueeze, mm-matmul의 경우 항상 헷갈리는 개념이였는데 이번에 확실하게 개념을 잡고 가는 거 같아서 좋다. 이렇게 부캠 통해서 인공지능 개념을 하나씩 알아가는 과정이 즐겁다. 피어세션 때는 지난주와는 다르게 강의 보고 헷갈리는 것들을 서로 물어보고 대답하는 시간을 가졌다. 파이썬만 배우던 지난주보다 내용이 많아져서 서로 할 이야기들이 많은듯..! 기본 과제만 마치고 오늘 하루를 마무으리!!👍