[부스트캠프 AI Tech]WEEK 03_DAY 14

🌱 개별학습

---

[7] Recurrent Neural Networks

1. Sequential Model

1) Naive sequence model : 이전 데이터로 현재 데이터를 예측함

2) Autoregressive model : 과거의 τ개로 현재 데이터를 예측함

3) Markov model : 바로 직전 값만 영향을 받음

4) Latent autoregressive model : hidden state로 과거의 정보를 기억, 요약

 

2. Recurrent Neural Network

1) Recurrent Neural Network : 모델의 출력이 다시 입력으로 가는 구조

https://colah.github.io/posts/2015-08-Understanding-LSTMs/

2) 단점 : Long-term dependencies

- 네트워크의 크기가 클수록 과거의 정보를 잃어버릴 수 있음

- vanishing/exploding gradient 문제

 

3. Long Short Term Memory(LSTM)

1) 구조

- Input

- Output

- Gate : Forget gate, Input gate, Output gate

- Cell state : Previous cell state, Next cell state

- Hidden state : Previous cell state, Next cell state

https://colah.github.io/posts/2015-08-Understanding-LSTMs/

2) Forget gate : 어떤 정보를 버릴지

3) Input gate : 어떤 정보를 저장할지

4) Update cell : cell state에 업데이트

5) Output gate : 어떤 값을 밖으로 내보낼지

---

[8] Transformer

1. Transformer

1) attention 구조를 활용한 시퀀스 변환 모델

2) 기계어 번역 등에 사용

3) encoder-decoder 구조로 구성

4) 하나의 encoder는 self-attention, feed-forward로 구성

- self-attention의 path는 의존적(dependency)

- feed-forward의 path는 독립적(independency)

---

---

🌱 오늘의 회고

마무리하지 못한 기본 과제가 있어서 오전에는 강의 듣고 기본 과제 풀어서 제출했다. 오후에는 transformer 강의를 들었는데... 어렵다.. 사실 강의 내용을 전부 소화하지 못해서 아쉬웠다.. 다행히도 피어세션 때 다른 캠퍼분이 generative model에 대해서 설명해주셔서 그나마 이해가 갔다! 금요일은 스페셜 피어세션도 준비되어 있는 날! 다른 캠퍼분들이랑 만나서 어떤 분야에 관심 있는지, 피어세션은 어떻게 운영하고 있는지에 대해서 이야기 나누었다. 이번 주까지가 level 2를 위한 조를 짜는 시간인데 어떤 주제로 어떻게 프로젝트를 진행해야 할지 아직까지도 감이 잘 안 온다ㅠㅠ 오피스아워에는 심화 과제에 대한 설명하는 시간을 가졌는데, 시작하는 인트로 노래가 뉴진스의 Attention.. (is all you need) (굿!) 다음 주부터는 월, 화, 수 피어세션 때 하는 일이 거의 없는거 같아서 데이콘 대회를 시작하기로 했다!