hye-log

🎀 개별학습 [8] Multi-GPU 학습 1. 개념 정리 1) Single(한 개) vs. Multi(두 개 이상) 2) GPU vs. Node(System. 한 대의 컴퓨터) 3) Single Node Single GPU(한 대의 컴퓨터의 한 개의 GPU) 4) Single Node Multi GPU(한 대의 컴퓨터의 여러 개의 GPU) 5) Multi Node Multi GPU(한 대의 컴퓨터의 한 개의 GPU. 서버실) 2. Model parallel 1) 다중 GPU에 학습을 분산하는 두 가지 방법 - 모델을 나누거나, 데이터를 나눔 2) 모델의 병목, 파이프라인의 어려움 등으로 인해 모델 병렬화는 고난이도 과제 3) AlexNet # Model parallel class ModelParalle..

🎀 개별학습 [6] 모델 불러오기 1. model.save() 1) 학습의 결과를 저장하기 위한 함수 2) 모델의 형태와 parameter를 저장 # Print model's state_dict # state_dict: 모델의 parameter를 표시 for param_tensor in model.state_dict(): print(param_tensor, "\t", model.state_dict()[param_tensor].size()) # 모델의 parameter를 저장 torch.save(model.state_dict(), os.path.join(MODEL_PATH, "model.pt")) # 같은 모델의 형태에서 parameter만 load new_model = TheModelClass() new..

🎀 개별학습 [4] AutoGrad & Optimizer 1. torch.nn.Module 1) 딥러닝을 구성하는 Layer의 base class 2) Input, Output, Forward, Backward, parameter(tensor) 정의 3) nn.Parameter - Tensor 객체의 상속 객체 - nn.Module 내에서 attribute가 될 때는 required_grad=True (AutoGrad)로 지정되어 학습 대상이 되는 Tensor - 대부분의 layer에는 weights 값들이 지정되어 있음(직접 선언할 일이 거의 없다) 4) Backward - Layer에 있는 Parameter들의 미분을 수행 - Forward의 결과값(예측치)와 실제값 간의 차이(loss)에 대해 미분..

🎀 개별학습 [1] Introduction to PyTorch 1. 딥러닝의 프레임워크 1) computation 관점에서 PyTorch와 TensorFlow의 차이 - PyTorch : Define by Run - TensorFlow : Define and Run - 참고 자료 : https://datasciencecareer.wordpress.com/2020/12/09/ml03-pytorch-vs-tensorflow/ 2. Computational Graph 1) 연산 과정을 그래프로 표현 2) Define and Run : 그래프를 먼저 정의하고 실행 시점에 데이터를 가져옴 3) Define by Run(Dynamic Computational Graph) : 실행을 하면서 그래프를 생성함 -> Py..

🌟 개별학습 [6] Numpy 0. Numpy 1) Numerical Python 2) 파이썬의 고성능 과학 계산용 패키지 [심화] 최대가능도추정법(최대우도법, MLE) [심화] 정규분포의 모수에 대한 최대가능도 측정 🌟 오늘의 회고 부스트캠프 시작하고 드디어 처음 맞이하는 금요일이다!! 한 주 동안 긴장+설렘+무서움+기쁨 여러 복잡한 감정으로 시작해서 한 주를 무사히 끝마쳤다는 게 너무나도 행복하다. 오전에 데일리스크럼을 시작으로 넘파이 강의를 들었다. 오후에도 강의를 듣고, 심화과제를 보다가 3시에 멘토님과 처음 만나는 시간을 가졌다. 멘토님은 의료 인공지능을 연구하고 계시는데 역시나 어떻게 의료 인공지능을 선택하게 되셨는지 질문 드렸다! 멘토님의 대답 중에서 '사람에게 도움이 되는 기술'이라고 말씀..