[부스트캠프 AI Tech]WEEK 03_DAY 11

🌱 개별학습

---

[1] Historical Review

1. Introduction

1) 인공지능(Artificial Intelligence) : 사람의 지능을 모방한 것

2) 머신러닝(Machine Learning) : 데이터를 통해 학습하는 것

3) 딥러닝(Deep Learning) : Neural Network를 활용하여 학습하는 것

-  딥러닝의 주요 요소 : data, model, loss, algorithm

 

2. Historical Review

1) 2012 AlexNet : CNN을 사용한 모델이며, 딥러닝을 이용한 ImageNet 대회에서 1등을 차지한 모델

AlexNet

2) 2013 DQN : 알파고를 만든 딥마인드에서 Atari Games을 플레이하도록 훈련하는 데 성공한 모델

3) 2014 Encoder/Decoder : 단어가 연속된 문장에서 다른 언어로 문장을 생성. 기계어 번역의 트렌드를 이끔

4) 2014 Adam Optimizer : Adam optimizer를 사용하면 결과가 잘 나오기 때문에 사용

5) 2015 Generative Adversarial Network : 일명 GAN으로 생성 모델을 의미

6) 2015 Residual Networks : network를 깊게 쌓으면서 진정한 딥러닝을 구현

7) 2017 Transformer : NLP, 컴퓨터 비전에서 사용하는 아키텍처

8) 2018 BERT : 자연어 처리 모델

9) 2020 Self Supervised Learning : 한정적 학습 데이터에 unlabeled 데이터를 활용하여 visual representation을 학습

참고) https://dennybritz.com/posts/deep-learning-ideas-that-stood-the-test-of-time/

---

[2] Neural Networks & Multi-Layer Perceptron

1. Neural Networks

1) 비선형 구조를 행렬곱 연산을 이용하여 함수를 근사시킨 네트워크

2) Activation Function : ReLU, Sigmoid, Hyperbolic Tangent, ...

 

2. Multi-Layer Perceptron(MLP)

1) input과 output 사이에 hidden layer를 추가하여 깊게 만들 수 있음

2) loss function

- Regression Task : outlier에 대한 panalty를 크게 함

- Classification Task : output이 one-hot vector로 나오기 때문에 해당하는 차원의 출력값만 크게 함

- Probabilistic Task : uncetainty 정보를 함께 찾고 싶을 때 확률적 태스크에서 활용

 

---

🌱 오늘의 회고

월요일은 푹(?) 쉬고 화요일에 맞는 3주차 부캠! 오전에는 멘토님의 멘토링으로 시작했다. 여러 가지 인사이트를 얻는 논문 사이트들을 알려주셨는데 paperwithcode 밖에 몰랐는데, 논문을 볼 수 있는 다양한 사이트들을 알려주셔서 유용했다 +_+ 오전은 마무리하고 점심 먹고 오후에는 딥러닝 기본 강의를 들었다. 첫 번째 강의는 딥러닝 기본에 대한 강의의 전반적인 overview 강의였는데, 딥러닝은 배우면 배울수록 처음 배우는 것처럼 새롭다. 처음에는 한 20% 이해가고, 나중에 들으면 한 40% 이해가고, 나중에는 이해해서 그 때는 왜 이해 못했을까 생각한다. 실습까지 했어야 했는데 아쉽게도 실습은 못하고 퀴즈까지만 완료! 내일은 실습이랑 과제하고 강의 이어서 듣기로~!