[부스트캠프 AI Tech]WEEK 08_DAY 35

🍰 개별학습

---

[3] Model Serving

1. Model Serving

1) Serving의 종류

- Batch Serving : 일정 주기(1일, 1주, 1달 등)로 한꺼번에 예측

- Online Serving : 실시간으로 예측, 병목이 없어야 함

2) Serving

- Production 환경에서 모델을 사용할 수 있도록 배포하는 것

- 머신러닝 모델을 개발하고, 현실 세계(앱, 웹)에서 사용할 수 있게 만드는 행위

- 머신러닝 모델을 회사 서비스의 기능 중 하나로 활용  예) 추천 시스템의 추천 알고리즘

3) 용어 정리

- Serving : 모델을 앱, 웹 서비스에 배포하는 과정. 모델을 서비스화하는 관점

- Inference : 모델에 데이터가 제공되어 예측하는 경우. 사용하는 관점

- Serving, Inference 용어가 혼재되어 사용되는 경우도 존재

 

2. Online Serving

1) 웹 서버(Web Server)

- HTTP를 통해 웹 브라우저에서 요청하는 HTML 문서나 오브젝트를 전송해주는 서비스 프로그램

- 요청을 받으면(Request) 요청에 응답하는(Response) 형태

- Client의 다양한 요청을 처리해주는 역할(데이터 전처리, 모델 기반 예측 등)

2) API(Application Programming Interface)

- 운영체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스

- 기계와 인간의 소통 창구

- 특정 서비스에서 해당 기능을 사용할 수 있도록 외부에 노출 : 기상청 API, 지도 API

- 라이브러리의 함수 : Pandas, Tensorflow, PyTorch

3) Online Serving Basic

(1) 구조

- 요청(Request)가 올 때마다 실시간으로 예측

- Client에서 Server에 HTTP 요청(Request) -> Server에서 예측한 후 예측 값을 반환(Response)

(2) Serving Input

- Single Data Point : 단일 데이터를 받아 실시간으로 예측

(3) Online Serving 구현 방식

- 직접 API 웹 서버 개발 : Flask, FastAPI

- 클라우드 서비스 활용 : AWS의 SageMaker, GCP의 Vertex AI

- Serving 라이브러리 활용 : Tensroflow Serving, Torch Serve, MLFlow, BentoML

(4) Online Serving에서 고려해야할 부분

- Python 버전, 패키지 버전 등 Dependecy

- 지연 시간(Latency)의 최소화

- Input 데이터를 기반으로 데이터베이스에 있는 데이터를 추출해서 모델을 예측해야 하는 경우

- 모델이 수행하는 연산(경량화 필요)

- 결과값에 대한 보정이 필요한 경우(마이너스 값, 0 등)

 

3. Batch Serving

1) Batch Serving Basic

(1) 구조

- 주기적으로 학습을 하거나 예측하는 경우

- 특정 시간에 반복해서 실행

- Airflow, Cron Job 등으로 스케줄링 작업(Workflow Scheduler)

(2) 장점

- Jupyter Notebook에 작성한 코드를 함수화 한 후 주기적으로 실행하는 간단한 구조

- 구현이 수월하며 간단함

- 한 번에 처리하므로 Latency가 문제되지 않음

(3) 단점

- 실시간으로 활용할 수 없음

- Cold Start 문제 : 오늘 새로 생긴 컨텐츠는 추천할 수 없음

2) Online Serving vs. Batch Serving

(1) Input 관점

- 데이터를 하나씩 요청하는 경우 -> Online

- 여러 데이터가 한꺼번에 처리되는 경우 -> Batch

(2) Output 관점(Output을 어떻게 활용하는지)

- API 형태로 결과를 바로 반환해야 하는 경우 -> Online

- 서버와 통신이 필요한 경우 -> Online

- 1시간에 1번 예측해도 되는 경우 -> Batch

(3) 실시간 모델 결과가 어떻게 활용되는지에 대한 생각 필요

- 우선 Batch Serving 으로 모델을 운영하면서 점점 API 형태로 변환

---

[4] 머신러닝 프로젝트 라이프 사이클

1. 머신러닝 프로젝트 Flow

1) 문제 정의의 중요성

- 특정 현상을 파악하고, 현상에 있는 문제를 정의하는 것

- 해결해야 하는 문제는 무엇이고, 문제를 해결하면 무엇이 좋을지, 어떻게 해결하면 좋을지

2) 현상 파악

- 현재 상황을 파악함

3) 구체적인 문제 정의

- 현상을 구체적으로 명확한 용어로 정리해보기

- 문제를 쪼개서 파악해보기

- 다양한 해결 방식 중 데이터로 해결할 수 있는 방법 고민하기

4) 프로젝트 설계

- 문제 정의에 기반하여 프로젝트를 설계함

- 머신러닝 문제 타당성 : 패턴, 목적 함수, 복잡성, 데이터 존재 여부

- 목표 설정, 지표 결정

- 제약 조건 : 일정, 예산, 관련된 사람, 개인정보, 기술적 제약, 환경, 성능 등

- 베이스라인 : 간단한 모델부터 시작하기

- 프로토타입 : Voila, Streamlit, Gradio 등

- 평가 방법 설계

- 회사의 비즈니스에서 어떤 가치를 주는가?

5) Action(모델 개발 후 배포 & 모니터링)

- 지표의 변화 파악하기

 

2. 비즈니스 모델

1) 비즈니스 모델 파악하기

- 회사의 비즈니스 파악

- 데이터 활용할 수 있는 부분 찾기(Input)

- 예측 결과가 어떻게 활용될 수 있는지 예상(Output)

---

---

🍰 오늘의 회고

오늘은 3, 4강을 들었다. 5강 실습 부분까지 들을 수 있을 줄 알았는데, 생각보다 강의의 양이 많았고, 추가적으로 볼 자료들도 있었다. 우선 지금까지 들었던 강의 중에서는 가장 흥미로운 파트가 아닐까 싶다.. 아무래도 이번 대회가 처음이었다면 잘 와닿지 않았을텐데, 부캠 전에 세 차례(?) 정도 프로젝트를 진행했던 터라 단순히 모델만 학습하고 SOTA를 달성하는 것보다 실제로 활용될 수 있도록 서비스 하는 부분에 대한 학습이 고팠기 때문에 지금 듣는 MLOps 파트가 제일 재밌는 것 같기도 하다. 피어세션 시간에는 무엇을 할까 고민하다가 혼자 들으면 절대 못 들을 것 같은(ㅋㅋ) 개발자 특강을 같이 들었다. 그래도 같이 들으니까 조금이나마 더 집중해서 들었던 것 같다!