[부스트캠프 AI Tech]WEEK 02_DAY 09

🎀 개별학습

---

[8] Multi-GPU 학습

1. 개념 정리

1) Single(한 개) vs. Multi(두 개 이상)

2) GPU vs. Node(System. 한 대의 컴퓨터)

3) Single Node Single GPU(한 대의 컴퓨터의 한 개의 GPU)

4) Single Node Multi GPU(한 대의 컴퓨터의 여러 개의 GPU)

5) Multi Node Multi GPU(한 대의 컴퓨터의 한 개의 GPU. 서버실)

 

2. Model parallel

1) 다중 GPU에 학습을 분산하는 두 가지 방법 - 모델을 나누거나, 데이터를 나눔

2) 모델의 병목, 파이프라인의 어려움 등으로 인해 모델 병렬화는 고난이도 과제

3) AlexNet

Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks."  Communications of the ACM  60.6 (2017): 84-90.

# Model parallel

class ModelParallelResNet50(ResNet):
    def __init__(self, *args, **kwargs):
    	super(ModelParallelResNet50, self).__init__(
        	BottleNeck, [3, 4, 6, 3], num_classes=num_classes, *args, **kwargs)
            
        # 첫 번째 모델을 cuda:0에 할당
        self.seq1 = nn.Sequential(self.conv1, self.bn1, self.relu, self.maxpool, self.layer1, self.layer2).to('cuda:0')
        
        # 두 번째 모델을 cuda:1에 할당
        self.seq2 = nn.Sequential(self.layer3, self.layer4, self.avgpool).to('cuda:1')
        
    # 두 모델을 연결
    def forward(self, x):
    	x = self.seq2(self.seq1(x).to('cuda:1'))
        return self.fc(x.view(x.size(0), -1))

 

3. Data parallel

1) 데이터를 나눠 GPU에 할당 후 결과의 평균을 취하는 방법

2) 한 번에 여러 GPU에서 수행 

3) DataParallel : 단순히 데이터를 분배한 후 평균을 취함 -> GPU 사용 불균형 문제, batch 사이즈 감소

4) DistributedDataParallel - 각 CPU마다 process 생성하여 개별 GPU에 할당 -> 개별적으로 연산의 평균을 냄

# Data parallel

parallel_model = torch.nn.DataParallel(model)

# Distributed Data parallel

train_sampler = torch.utils.data.distributed.DistributedSampler(train_data)
shuffle = False
pin_memory = True

train_loader = torch.utils.data.DataLoader(
		train_data, batch_size=20, shuffle=True, 
                pin_memory=pin_memory, num_worker=3, shuffle=shuffle, 
                sampler=train_sampler)

---

[9] Hyperparameter Tuning

1. Hyperparameter Tuning

1) 모델 스스로 학습하지 않는 값은 사람이 지정

- 예) learning rate, 모델의 크기, optimizer 등

2) grid search : 일정한 범위로 잘라서 값의 조합을 정함 예) 0.1, 0.01, 0.001

3) Random Search : 랜덤으로 값의 조합을 정함

 

2. Ray

https://docs.ray.io/en/latest/index.html

1) multi-node multi-processing 지원 모듈

2) ML/DL의 병렬 처리를 위해 개발된 모듈(ML/DL 모듈의 표준)

3) hyperparameter 조절보다 좋은 데이터를 모으는 것이 더 중요!

---

🎀 오늘의 회고

오전에는 파이토치의 8, 9강을 학습했다. 사실 multi-gpu로 학습할 일이 아직까지는 없어서 잘 와닿지 않는 내용이지만, 언젠가 multi-gpu로 학습하는 날을 위해서 열심히 들어두었다. Dataparallel과 DistributedDataparallel은 언제 들어도 어려운 개념인 것 같다ㅠㅠ 하이퍼파라미터 튜닝은 모델과 데이터, 학습까지 모두 하고도 일부 하이퍼파라미터 값을 변경해서 모델의 성능을 개선할 수 있다고 들었는데, RAY라는 모듈을 이용해서 하이퍼파라미터를 개선한 것은 처음이라 다음에 모델을 학습할 때 써먹어야 겠다고 생각했다! 오후에는 멘토링, 피어세션, 오피스아워까지 있었는데, 멘토링에서는 여러 딥러닝 커뮤니티와 사용하기 좋은 툴들, 그리고 진로 고민과 컴퓨터 비전에 대한 질문들에 대한 답변을 해주셨다ㅎㅎ 일주일에 한 번 밖에 없는 시간이지만 인공지능의 학습 외적으로 알아가는 게 많아서 유용한 시간이었다. 피어세션 때는 과제가 마감되고 서로 어려웠던 것들에 대해서 이야기 하는 시간을 가졌는데, 지난 주 과제에 비해서 본격적으로 파이토치를 공부하니 어려워지고 다 못 끝내고..(^.ㅠ) 한 시간 정도 break 타임을 가지다가 오피스아워에는 이번 주 기본 과제에 대한 풀이를 해주셨다. 정말 꼼꼼하게 정리된 과제라서 두고두고 파이토치에서 모르는 개념이 나올 때 찾아볼 거 같다. 기본 과제에 대해서는 내일 강의 하나 듣고 다시 복습하는걸로!🌞