[부스트캠프 AI Tech]WEEK 17_DAY 79

🌌 개별학습

---

[3-2] FastAPI 2

2. Pydantic

1) Pydantic

- Data Validation / Settings Management 라이브러리

- Type Hint를 런타임에서 강제해 안전하게 데이터 핸들링

- 파이썬 기본 타입(String, int 등) + List, Dict, Tuple에 대한 Validation 지원

- Config를 효과적으로 관리하도록 도와줌

- 머신러닝 Feature Data Validation으로도 활용 가능

 

2) Pythonic Validation

(1) Machine Learning Model Input Validation

(2) Online Serving에서 Input 데이터를 Validation함

(3) Validation Check Logic

- 조건 1: 올바른 url을 입력 받음(url)

- 조건 2: 1~10 사이의 정수를 입력 받음(rate)

- 조건 3: 올바른 폴더 이름을 입력 받음(target_dir)

(4) 사용할 수 있는 방법

- 일반 Python class를 활용한 Input Definition 및 Validation

- Dataclass를 활용한 Input Definition 및 Validation

- Pydantic을 활용한 Input Definition 및 Validation

(5) Python class를 활용할 경우

- 의미 없는 코드가 많아지고 복잡해짐

- 메인 로직(Input을 받아서 Inference를 수행하는)에 집중하기 어려워짐

(6) Dataclass 활용할 경우

- dataclass decorator 사용으로 init method를 사용하지 않음

- post_init과 같은 편의 매직 메서드 사용 가능

- validate method는 만들어야 함 

(7) Pydantic Validation

- 올바른 Http URL인지 검증

- Field 옵션으로 >=1, <=10 인지 검증

- 존재하는 디렉토리인지 검증

- 어디서 에러가 발생했는지 location, type, message 등을 알려줌

 

3) Pydantic Config

(1) Config를 체계적으로 관리할 방법을 제공

(2) 애플리케이션에서 설정을 상수로 코드에 저장하는 것 -> Twelve-Factor 위반

- Twelve-Factor : 설정을 코드에서 엄격하게 분리하는 것

- 설정을 환경 변수(envvars, env)에 저장함

- 코드 변경 없이 쉽게 배포 때마다 쉽게 변경할 수 있음

(3) .ini, .yaml 파일 등으로 config 설정하기

- yaml로 쉽게 환경을 설정할 수 있음(하드코딩)

- 변경사항이 생기면 유연하게 코드를 변경하기 어려움

(4) flask-style config.py

- config 클래스에서 yaml, ini 파일을 불러와 python class 필드로 주입

- config 클래스 정보를 오버라이딩해서 사용

(5) pydantic base setting

- BaseSetting을 상속한 클래스에서 Type Hint로 주입된 설정 데이터를 검증할 수 있음

- Field 클래스의 env 인자로 환경 변수로부터 오버라이딩 할 수 있음

- .env 파일들을 환경별로 만들어 두거나, 실행 환경에서 유연하게 오버라이딩 할 수 있음

---

---

🌌 오늘의 회고

오전 데일리 스크럼에서 특별한 이슈는 없었고, 어제 annnotation까지 한 데이터셋 훈련 시켜보려고 했는데.. 헤ㅔ.. 뭔가 파일 개수가 안 맞아서 찾아보니 annotation 만들면서 코드에 오류가 있던 거 같다. 다시 train image, annotation 다운로드 받아서 데이터셋 구축... 파일이 50만 장 정도 되다보니 폴더만 클릭하면 vscode가 렉이 걸리는... 누가 vscode에 지뢰를 심어둔거 같다..-_- 마스터클래스 때에는 데이터에 대한 이야기를 해주셨는데, 특히나 면접을 볼 때 지원하고 싶은 회사의 비즈니스 모델을 분석해보고 어떤 데이터가 생산되서 어떤 서비스를 개발해볼 수 있을지 고민해보는 게 중요하다고 말씀해주셨다. 내가 생각했을 때에도 함께 같은 고민을 나누고 있는 사람과 일을 하고 싶은 게 회사의 입장이 아닐까 싶다..(!!) 채용공고 찾아보면서 이 회사에는 어떤 데이터가 있고 내가 어떤 일을 할 수 있을지 고민해보는 시간을 가져봐야겠다🐰