hye-log

🥪 개별학습 [8] Training & Inference 2 - Process 1. Training Process 1) Training 준비 2) Training 프로세스의 이해 - train : train mode에서 Dropout, BatchNorm 등에 영향을 끼칠 수 있기 때문에 mode 설정이 필요 train(mode=True) - optimizer.zero_grad() : optimizer가 backward 될 때 model 안에 있는 parameter를 업데이트하는데, batch iteration이 돌아가면서 zero_grad를 통해서 이전 batch의 grad가 남아있을 수 있기 때문에 초기화가 필요함 - loss : criterion라는 loss 함수를 통해서 outputs, labels..

🔥 개별학습 [7] Training & Inference 1 - Loss, Optimizer, Metric 1. Loss 1) Loss 함수 = Cost 함수 = Error 함수 2) nn.Loss 패키지에서 다양한 loss를 찾을 수 있음 3) loss.backward() : 파라미터의 grad 값이 업데이트 됨 4) 조금 특별한 loss - Focal Loss : Class Imablance인 경우 맞출 확률이 높은 Class는 조금의 loss를, 맞출 확률이 낮은 Class는 loss를 높게 부여 - Label Smoothing Loss : Class target label을 one-hot이 아니라 soft 하게 표현해서 일반화 성능을 높임 2. Optimizer 1) learning rate를 어..

🔥 개별학습 [6] Model 2 - Pretrained Model 0. Overview 1) Computer Vision에서 발전으로 Object Detection, Self-driving과 같은 기술이 발전함 2) Computer Vision의 발전에 ImageNet 이라는 대용량 데이터셋의 엄청난 영향력이 있었음 1. Pretrained Model 1) 배경 - 매번 수 많은 이미지를 학습하는 것은 까다롭고 비효율적 - 미리 학습한 모델을 바탕으로 목적에 맞게 다듬어서 사용 2) torchvision.models를 이용하여 모델 구조와 pretrained weight를 다운로드할 수 있음 2. Transfer Learning 1) CNN base 모델 구조 - Input --> CNN Backbon..

🔥 개별학습 [5] Model 1- Model with Pytorch 1. Model 1) object, person, system 등 정보의 표현 2. Design Model with Pytorch 1) Pytorch - Open Source Machine Learning Framework - 특징 : low-level, Pythonic, Flexibility 2) nn.Module - Pytorch의 모든 레이어는 nn.Module 클래스를 따름 import torch.nn as nn import torch.nn.functional as F class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.conv1 =..

🔥 개별학습 [2] Image Classification & EDA 1. EDA(Exploratory Data Analysis) 1) EDA - 탐색적 데이터 분석 - 데이터를 이해하기 위한 노력 2) EDA의 도구 -> 데이터를 이해하기 위해서라면 어떤 도구든 상관 없음 - 일일이 손으로 - Python - Excel 2. Image Classification 1) Image - 시각적 인식을 표현한 인공물(Artifact) - (width, height, channel) 2) Model - Input + Model = Output 3) Image Classification Model - Image + Classification Model = Class 3. Baseline [3] Dataset 1. ..