[부스트캠프 AI Tech]WEEK 01_DAY 04

🌟 개별학습

---

[8] 베이즈 통계학 맛보기

1. 조건부 확률

1)  P(A ∩ B) = P(B) P(A | B)

+ P(A | B) = P(A ∩ B) / P(B)

+ P(A | B) 는 사건 B가 일어날 상황에서 A가 발생할 확률

2) P(B | A) = P(A ∩ B) / P(A) = P(B) *  P(A | B) / P(A)

+ A 가 주어졌을 때 P(B)로부터 P(B | A)를 계산하는 방법을 제공

3) P( θ | D ) = P( θ ) * P( D | θ ) / P( D )

P( θ | D ) : 사후확률(posterior). 새로 관찰하는 데이터인 D가 주어졌을 때의 확률

P( θ ) : 사전확률(prior)

P( D | θ ) : 가능도(likehood). 데이터 D가 관찰될 확률

P( D ) : Evidence. 데이터 D 전체의 분포

(예) 어떤 질병의 발병률 10%, 실제 걸렸을 때 검진될 확률 99%, 실제 걸리지 않았을 때 오검진될 확률 1%라 할 때, 

질병에 걸렸다고 결과가 나왔을 때 정말로 질병에 감염되었을 확률은?

θ : 질병(관찰 불가) / D : 테스트 결과(관찰 가능)

P( θ ) = 0.1

P( D | θ ) = 0.99

P( D | ~θ ) = 0.01

P( D ) = ∑ P( D | θ ) P( θ ) = P( D | θ ) P( θ ) + P( D | ~θ ) P( ~θ ) = 0.99 * 0.1 + 0.01 * 0.9 = 0.108

P( θ | D ) = 0.1 * (0.99 / 0.108) ~= 0.916

4) 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산할 수 있음

(예) 질병 판정을 받은 사람이 두 번째 검진을 받았을 때도 양성이 나왔을 때, 진짜 질병에 걸렸을 확률은?

P( D* ) = 0.99 * 0.916 + 0.1 * 0.084 ~= 0.915

P( θ | D* ) = 0.916 * (0.99 / 0.915) = 1.081

 

2. 인과 관계

1) 데이터 분포의 변화에 강건한 예측모형을 만들 때 필요

2) 두 개 이상의 변수에 영향을 주는 중첩요인(confounding factor)의 효과를 제거하고 인과관계를 계산해야 함

---

[9] CNN 첫걸음

1. Convolution 연산

1) 커널(kernel)을 입력벡터 상에서 움직여가면서 선형모델과 합성함수가 적용되는 구조

2) 커널을 이용해 국소적으로 증폭 또는 감소시켜서 정보를 추출, 필터링함

 

2. 2차원 Convolution 연산

1) 커널을 입력 벡터 상에서 움직여가면서 선형모델과 합성함수가 적용되는 구조

2) 출력 크기 계산 방법

- 입력 크기 (H,W), 커널 크기(Kh, Kw), 출력 크기(Oh, Ow)

- Oh = H - Kh + 1 / Ow = W - Kw + 1

3) 채널이 여러 개인 2차원 입력은 convolution을 채널 개수만큼 적용

4) 역전파를 계산할 때도 convolution 연산이 나옴

---

[10] RNN 첫걸음

1. 시퀀스 데이터

1) 소리, 문자열, 주가 등과 같이 시간 순서에 따라 나열된 데이터

2) 과거 정보나 앞뒤 맥락 없이 미래를 예측하거나 완성하는 것은 불가 -> 과거 정보가 손실되지 않는 것이 중요

3) 조건부확률을 이용

- P(X1, ..., Xt) = P(Xt | X1, ..., Xt-1) * P(X1, ..., Xt-1) = ∏P(Xs | Xs-1, ..., X1)

4) 가변적인 데이터를 다룰 수 있는 모델이 필요

5) AR(τ) : 자기회귀모델(Autoregressive Model). 고정된 길이 τ만큼 시퀀스를 사용하는 경우

6) 잠재 AR 모델 : 이전 정보를 제외한 나머지 정보들을 Ht라는 잠재변수로 인코딩해서 활용하는 경우

7) 잠재변수 Ht를 신경망을 통해 반복해서 사용하여 시퀀스 데이터의 패턴을 학습하는 모델이 RNN 임

 

2. RNN(Recurrent Neural Network)

1) 이전 순서의 잠재변수와 현재의 입력을 활용하여 모델링

2) RNN의 역전파(BPTT, Backpropagation Through Time)

 

3. 기울기 소실

1) 시퀀스 길이가 길어지면 BPTT를 통한 역전파 알고리즘 계산이 불안해지므로 길이를 끊는 것이 필요함(truncated BPTT)

2) Vanilla RNN은 길이가 긴 시퀀스를 처리하기 어려움 -> LSTM, GRU 등장

---

---

🌟 오늘의 회고

벌써 목요일이얏! 오전에는 다른 일정이 없어서 데일리 스크럼하고 모각공으로 하루를 시작했다! 피어세션 때 알고리즘 한 문제를 함께 보기로 해서 어제 풀다가 잘 안 풀렸던 부분 찾아보고 코드 정리하는걸로 오전 시간을 보냈다. 점심 먹고 어제에 이어서 통계학 듣는데 통계학은 들어도 들어도 어렵다. 퀴즈 푸는데 잘 안 풀리는 문제 있어서 손으로 써 가면서 풀다가 '아!' 하고 정답을 찾아서 너무 기뻤다ㅋ.ㅋ CNN 듣고 정리하고 더 찾아볼만한 내용 있는지 유튜브도 검색해보고 하다보니 벌써 피어세션 시간... 오늘은 노션에 정리한 코드 공유하고 서로 코드 리뷰했다. 같은 기능을 하는 함수여도 파이썬이라 시간 초과가 나는 경우가 있어서 reversed 사용하기* 새로 배웠다. 마스터 클래스에서는 AI Math 파트를 담당하시는 임성빈 마스터님의 세션을 들었다. 인공지능 대학원부터 수학 공부까지, 그리고 마스터님은 어떻게 인공지능 분야에 빠지게 되셨는지 들을 수 있어서 너무 좋았다. 사람, 특히 자신의 직업을 가진 사람을 보면 왜 이 길을 선택했는지 궁금할 때가 많다+_+ 마스터클래스 듣고 RNN 나머지 수업 듣고 정리까지 끝! 오늘은 조금 일찍 잘 수 있으려나🤔