[부스트캠프 AI Tech]WEEK 08_DAY 34

🍰 개별학습

---

[1] 강의 소개

1. 강의의 목표

1) AI 엔지니어로 출발하기 위한 시작점을 그릴 수 있는 큰 그림을 인지하기

2) 직접 문제 정의하고 필요한 도구를 찾아보는 능동적인 자세 가지기

3) 지속적으로 개선하기

4) 프로토타이핑부터 모델 배포, 모니터링 과정을 이해하기

 

2. 강의의 특징

1) 라이브러리가 왜 만들어졌는지 집중하기

2) 일반적인 AI 엔지니어링을 다루기 때문에 자기 도메인에 어떻게 적용할 수 있을지 생각해보기

---

[2] MLOps 개론

1. MLOps 개론

1) 모델 개발 프로세스(Research)

(1) 자신의 컴퓨터, 서버 등에서 고정된 데이터를 사용하여 학습

(2) 학습된 모델을 real world, production 환경에 모델을 배포하는 것이 필요

2) 모델 개발 프로세스(Production)

(1) 웹, 앱에서 서비스를 활용할 수 있게 만드는 과정

(2) '모델에게 데이터(Input)을 제공하여 예측(Output)해주세요' 라고 요청

(3) 모델이 배포되었다고 가정

- 결과값이 이상한 경우 : input 데이터가 이상한 경우, outlier가 존재하는 경우

- 성능이 계속 변경되는 경우 : 예측 값과 실제 레이블을 알아야 함

- 새로운 모델이 더 안 좋은 경우 : research에서 좋았던 모델이 production에서는 안 좋을 수도, 이전 모델을 다시 사용

- 이 외에도 다양한 이슈가 존재함

3) MLOps란

- 머신러닝 모델링 코드는 머신러닝 시스템의 일부에 불과함

- MLOps = ML(Machine Learning) + Ops(Operations)

- 머신러닝 모델을 운영하면서 반복적으로 필요한 업무를 자동화시키는 과정

- 머신러닝 엔지니어링 + 데이터 엔지니어링 + 클라우드 + 인프라

- 모델링에 집중할 수 있도록 관련된 인프라를 만들고 자동으로 운영되도록 만드는 일

- Production 환경에 배포하는 과정에서 Research 모델이 재현 가능해야 함 (+현실의 Risk 고려)

- 목표 : 빠른 시간 내, 가장 적은 위험으로, 아이디어부터 Production까지, ML 프로젝트를 진행할 수 있도록, 기술적 마찰을 줄이는 것

- 학습 방법 : 각 Component에서 해결하고 싶은 문제는 무엇이고, 그 문제를 해결하기 위한 방법으로 어떤 방식을 활용할 수 있는지

4) Reserach와 Production의 차이

 

2. MLOps Component

1) Server 인프라(장소)

- 트래픽

- GPU, Memory 성능

- 스케일 업/아웃

- 자체 서버 구축, 클라우드

2) GPU Infra(도구)

- 로컬 GPU

- 클라우드 GPU : 클라우드 - AWS, GCP, Azure, NCP 등 / 온 프레미스 : 전산실에 서버를 직접 설치

3) Serving(서빙)

- Batch Serving : 일정 주기(1일, 1주, 1달 등)로 한꺼번에 예측

- Online Serving : 실시간으로 예측, 병목이 없어야 함

4) Experiment, Model Management(레시피)

- 파라미터, 모델 구조 등

- 모델 생성일, 모델 성능, 메타 정보 등을 기록

- 여러 모델 운영

- ex) mlflow

5) Feature Store(저장)

- feature를 집계한 feature store(정형 데이터에서 자주 사용)

- ex) FEAST

6) Data Validation(재료)

- Feature의 분포 확인

- 종류 : Data Drift, Model Drift, Concept Drift

- Static model : 한 번 학습한 모델을 시간의 흐름에 따라 그대로 가져감. 

한번학습하고 시간의 흐름에 따라 그대로 가져감. 퀄리티가 낮아짐

- Refreshed models : 다시 학습하면서 퀄리티를 유지함

7) Continuous Training(품질 유지)

- 새로운 데이터가 들어오는 경우

- 일정 기간마다(매일, 매시간)

- Metric 기반으로 확인했을 때

- 요청할 때마다

8) Monitoring(기록)

- 모델의 지표, 인프라의 성능 지표 등을 기록

9) AutoML(자동)

- ex) MLIlibrary

10) 정리

- 머신러닝 모델을 직접 운영하면서 신경써야 하는 부분

- 회사의 비즈니스 상황과 모델 운영 상황에 따라 우선 순위가 달라짐

- MVP(Minimal Value Product)로 시작해서 점점 운영 리소스가 많이 추가될 때 하나씩 구축함

---

---

🍰 오늘의 회고

대회가 끝나서 다시 원래대로 돌아온 것 같은 8주차..! 데일리 스크럼 때는 오늘 계획에 대해서 말하면서 시작했다. 이번 주부터 MLOps 들어가는데 제일 많이 기대한 파트이기도 하다. 아무래도 CV 보다는 엔지니어링이 섞여진 MLOps가 더 재미있을 것 같은 느낌... 강의 하나하나가 비유를 통해서 설명해주셔서 엄청 이해가 쏙쏙되었다. 뭔가 새로 나오는 개념들이나 라이브러리들은 찾아보면서 들었는데, 이런 툴들로 결국에는 MLOps가 이루어지는 것이구나라고 이해했다.. 피어세션 때에는 오랜만에 할 이야기가 없어서 알고리즘 문제 풀기로 하고, 지난 주 1등 조에서 발표했던 협업 툴 중에서 VSCode live coding 기능을 써 보았다. 처음에는 어떻게 연결하는건가 헤맸었는데 다행히도 깃허브 계정을 이용해서 쉽게 접근할 수 있었다. 우리 조는 미리 팔로우/팔로워 해 둔 덕분에 쉽게 협업할 수 있었음! 각자의 위치가 표시되고 동시에 작업할 수 있어서 엄청 유용한 것 같다👍