hye-log

[๋ถ€์ŠคํŠธ์บ ํ”„ AI Tech]WEEK 13_DAY 63 ๋ณธ๋ฌธ

Boostcourse/AI Tech 4๊ธฐ

[๋ถ€์ŠคํŠธ์บ ํ”„ AI Tech]WEEK 13_DAY 63

iihye_ 2022. 12. 16. 22:09

๐Ÿซ– ์˜ค๋Š˜์˜ ํšŒ๊ณ 

https://pubul.tistory.com/40

์งค์€.. ๋ญ”๊ฐ€ ์ด๋ฒˆ ๋Œ€ํšŒ๋ฅผ ํ•˜๋ฉด์„œ ๋Š๊ผˆ๋˜ ๋‚˜์˜ ๋ชจ์Šต.... ๋ถ„๋ช… ๋ถ€์บ  ์‹œ์ž‘ํ•  ๋•Œ์—๋Š” 7์‹œ ์นผํ‡ด๊ทผ์„ ์™ธ์น˜๋ฉฐ ์ฝ”์–ด ํƒ€์ž„์— ์ง‘์ค‘ํ•˜๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ์„ธ์› ๋Š”๋ฐ, ๋Œ€ํšŒ๋ฅผ ํ•˜๋‚˜์”ฉ ํ•  ๋•Œ๋งˆ๋‹ค '์•„.. ์ด๊ฒƒ๊นŒ์ง€๋งŒ ํ•˜๋ฉด ๋ ๊ฑฐ ๊ฐ™์€๋ฐ' ํ•˜๋ฉด์„œ ๊ณ„์† ์ž์ฒด ์—ฐ์žฅ.. ์—ฐ์žฅ..์„ ๋ฐ˜๋ณตํ•ด์™”๋‹ค. ์ง€๋‚œ ๋ฒˆ ํ”„๋กœ์ ํŠธ ๋•Œ๊นŒ์ง€๋Š” ์ด ์ •๋„๊นŒ์ง€๋Š” ์•„๋‹ˆ์—ˆ๋˜๊ฑฐ ๊ฐ™์€๋ฐ(..ใ…Ž..) ๋ชจ๋ธ ํ•™์Šต ๋Œ๋ฆฌ๋‹ค๊ฐ€ ์–ธ์ œ ์˜ค๋ฅ˜๊ฐ€ ๋‚ ์ง€ ๋ชจ๋ฅด๋‹ˆ ์ปดํ“จํ„ฐ๋„ ๊ณ„์† ์ผœ๋‘์—ˆ๋‹ค.. ์ƒ๊ฐํ•ด๋ณด๋ฉด 2์ฃผ ๋™์•ˆ ์ปดํ“จํ„ฐ ๋ˆ ์ ์ด ์—†์–ด.. 

์˜ค๋Š˜ ๋งˆ์Šคํ„ฐํด๋ž˜์Šค ์‹œ๊ฐ„์—๋Š” Data Annotation ๋Œ€ํšŒ ๊ด€๋ จ ์ดํ™œ์„ ๋งˆ์Šคํ„ฐ๋‹˜๊ณผ ๋Œ€ํšŒ ํ”ผ๋“œ๋ฐฑ, ์งˆ์˜์‘๋‹ต ์‹œ๊ฐ„์„ ๊ฐ€์กŒ๋‹ค. ๋Œ€ํšŒ๊ฐ€ ๋๋‚œ ๋’ค ๋งˆ์Šคํ„ฐํด๋ž˜์Šค ์‹œ๊ฐ„๋งˆ๋‹ค ๋Š๋ผ๋Š” ๊ฑด๋ฐ ํ™•์‹คํžˆ ๋Œ€ํšŒ ๋๋‚˜๊ณ  ์–ป์–ด๊ฐ€๋Š” ๊ฒŒ ํ›จ~์”ฌ ๋งŽ๋‹ค.. ์šฐ์„  ์ฃผ์–ด์ง„ ์‹œ๊ฐ„ ์•ˆ์— ์„ฑ๋Šฅ์„ ์˜ฌ๋ ค์•ผ ํ•˜๋ฏ€๋กœ ์—ฌ๋Ÿฌ ๊ฐ€์ง€ ์ผ ์ค‘์—์„œ ์šฐ์„ ์ˆœ์œ„๋ฅผ ์ •ํ•˜๋Š” ๊ฒŒ ์ค‘์š”ํ•˜๋‹ค. ์ด๋ฒˆ ํƒœ์Šคํฌ๋Š” ํ•œ๊ธ€, ์˜์–ด์™€ ๊ฐ™์€ ๊ธ€์ž๋ฅผ ๊ฒ€์ถœํ•˜๋Š” ํƒœ์Šคํฌ์ธ๋ฐ, ์ง€๋‚œ ๊ธฐ์ˆ˜ ๊นƒํ—ˆ๋ธŒ๋ฅผ ์ฐธ๊ณ ํ–ˆ์„ ๋•Œ์—๋Š” ๋ชจ๋“  ์–ธ์–ด๋ฅผ ๋ฐ์ดํ„ฐ์…‹์„ ๋„ฃ์–ด์„œ ์„ฑ๋Šฅ์„ ์˜ฌ๋ ธ๋‹ค๊ณ  ํ•ด์„œ ์™œ ๊ทธ๋Ÿฐ์ง€ ์˜๋ฌธ๋งŒ ๊ฐ€์ง„ ์ฑ„๋กœ ์žˆ์—ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ƒ๊ฐํ•ด๋ณด๋ฉด ์ด๋ฒˆ ๋Œ€ํšŒ ํƒœ์Šคํฌ๊ฐ€ ๋‹จ์ˆœํžˆ ๊ธ€์ž๋ฅผ ๊ฒ€์ถœํ•˜๋Š” ๊ฒƒ์ด๊ธฐ ๋•Œ๋ฌธ์— ์–ธ์–ด๋Š” ์ƒ๊ด€ ์—†์ด ๊ธ€์ž ๋ฐ์ดํ„ฐ๋งŒ ๋งŽ์ด ๋„ฃ์œผ๋ฉด ์„ฑ๋Šฅ ํ–ฅ์ƒ์— ๋„์›€์ด ๋˜์—ˆ๋˜ ๊ฒƒ์ด๋‹ค. ๋˜ํ•œ ์‹ค์ œ OCR ์—…๋ฌด๋ฅผ ์ƒ๊ฐํ•ด๋ดค์„ ๋•Œ ์šฐ๋ฆฌ๊ฐ€ ์ˆ˜ํ–‰ํ•œ ๊ธ€์ž ๊ฒ€์ถœ์€ ์ฒซ ๋ฒˆ์งธ ๋‹จ๊ณ„์— ํ•ด๋‹นํ•˜๊ณ , ๊ธ€์ž ์ธ์‹, ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ๊นŒ์ง€ ํ•˜๋ฉด ์—ฌ๋Ÿฌ ๋ชจ๋ธ๋“ค์ด ๊ณฑ์—ฐ์‚ฐ์œผ๋กœ ์ด๋ฃจ์–ด์ง„๋‹ค. ๋”ฐ๋ผ์„œ ๊ธ€์ž ๊ฒ€์ถœ ์„ฑ๋Šฅ์ด ๋‚ฎ๋‹ค๋ฉด ๊ฒฐ๊ตญ OCR ์ „์ฒด ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ๋„ ๋‚ฎ์•„์ง€๊ณ , 100%๋ฅผ ์›ํ•˜๋Š” ๊ณ ๊ฐ์˜ ์ž…์žฅ์—์„œ๋Š” ์‹ ๋ขฐํ•  ์ˆ˜ ์—†๊ฒŒ ๋œ๋‹ค. ์ด๊ฑธ ์ƒ๊ฐํ•˜๋‹ˆ OCR์˜ ์—ฐ๊ตฌ ๊ฐ€์น˜๋ฅผ ๋‹ค์‹œ ํ•œ ๋ฒˆ ๋Š๋ผ๊ฒŒ ๋˜์—ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  '๋ฌธ์ œ๋ฅผ ๊ตฌ์ฒดํ™”ํ•˜๋Š” ๊ณผ์ •์ด ์ค‘์š”ํ•˜๋‹ค'๊ณ  ๋ง‰์—ฐํ•˜๊ฒŒ๋งŒ ์•Œ๊ณ  ์žˆ์—ˆ๋Š”๋ฐ, ์‹ค์ œ ํ˜„์—…์—์„œ๋„ ๊ณ ๊ฐ๋„, ๊ธฐํš์ž๋„, ๊ฐœ๋ฐœ์ž๋„ ํ™•์‹คํ•˜๊ฒŒ ๋ฌธ์ œ ์ •์˜๋ฅผ ๋‚ด๋ฆด ์ˆ˜ ์—†๊ธฐ ๋•Œ๋ฌธ์— ๋Š์ž„์—†์ด ํ† ๋ก ํ•˜์—ฌ ๊ตฌ์ฒดํ™” ์‹œ์ผœ ๋‚˜๊ฐ€๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•˜๋‹ค๊ณ  ๋ง์”€ํ•ด์ฃผ์…จ๋‹ค. ์•„๋งˆ ์ตœ์ข… ํ”„๋กœ์ ํŠธ๋ฅผ ํ•  ๋•Œ๋„ ๋ฌธ์ œ๋ฅผ ๊ตฌ์ฒดํ™”ํ•˜๊ธฐ ์œ„ํ•œ ๋…ธ๋ ฅ์ด ๋งŽ์ด ํ•„์š”ํ•  ๊ฒƒ ๊ฐ™๋‹ค. ์ด๋ฒˆ์— ๋ฐ์ดํ„ฐ annotation์„ ์ˆ˜์ •ํ•˜๋Š๋ผ json ํŒŒ์ผ์„ ๊ณ„์† ์ˆ˜์ •ํ–ˆ๋Š”๋ฐ, ์ˆ˜์ •ํ•œ ํŒŒ์ผ์„ ๊ฐœ์ธ ๊นƒํ—ˆ๋ธŒ์— ์—…๋กœ๋“œํ•˜๋ฉด์„œ ๋ฐ”๋€ ๋ถ€๋ถ„๋“ค์„ ์•Œ์•„๋ณผ ์ˆ˜ ์žˆ๊ฒŒ ์ •๋ฆฌํ•ด๋‘์—ˆ๋‹ค. ์‚ฌ์‹ค ๋ฐ์ดํ„ฐ versioning์€ ์ƒ๊ฐํ•˜์ง€ ๋ชปํ•œ ๋ถ€๋ถ„์ธ๋ฐ ๋ฐ์ดํ„ฐ๋ฅผ ๋ณ€๊ฒฝํ•˜๋ฉด์„œ ๋ฐ์ดํ„ฐ versioning์„ ํ†ตํ•ด์„œ ํ•„์š”ํ•  ๊ฒฝ์šฐ rollback ํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜๋Š” ๊ฒƒ๋„ ์ค‘์š”ํ•˜๋‹ค๊ณ  ๋Š๊ผˆ๋‹ค. 

์˜คํ›„์—๋Š” Recsys X CV ๋ฉ˜ํ† ๋ง์„ ํ†ตํ•ด์„œ ๋…ผ๋ฌธ public ๊ณผ์ •, software engineer ์ทจ์—… ๊ณผ์ •์„ ์†Œ๊ฐœํ•ด์ฃผ์…จ๋‹ค. ์Œ.. ๋ญ”๊ฐ€ ๊ฐœ๋ฐœ์ž๋กœ์„œ ์ค‘์š”ํ•œ ๊ฒƒ์ด ๋ฌด์—‡์ด๋ƒ๋Š” ์งˆ๋ฌธ์— test case๋ผ๊ณ  ๋Œ€๋‹ตํ•ด์ฃผ์…จ๋Š”๋ฐ, ์‹ค์ œ ์‚ฌ์šฉ์ž๊ฐ€ ์–ด๋–ป๊ฒŒ ์‚ฌ์šฉํ• ์ง€ ๋ชจ๋ฅด๋‹ˆ ์—ฌ๋Ÿฌ test case๋ฅผ ์ƒ๊ฐํ•ด๋ณด๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•  ๊ฒƒ์ด๋ผ๊ณ  ์ƒ๊ฐ๋œ๋‹ค.. ๋˜ํ•œ ์‹œ๋‹ˆ์–ด ๊ฐœ๋ฐœ์ž๋กœ ๋„˜์–ด๊ฐˆ์ˆ˜๋ก ํŒ€ ์„ฑ์žฅ์— ๋Œ€ํ•œ ๊ณ ๋ฏผ, robust system์„ ๋งŒ๋“œ๋Š” ๊ฒƒ์— ๋Œ€ํ•œ ๊ณ ๋ฏผ์ด ๊ณ„์†๋œ๋‹ค๊ณ  ํ•˜์…จ๋‹ค. ์•„์ง ๋‚˜์˜ ์„ฑ์žฅ์— ๋Œ€ํ•ด์„œ๋งŒ ๊ณ ๋ฏผํ•˜๊ณ  ์žˆ๋Š” ๋‚˜๋กœ์„œ๋Š” ์ฃผ๋‹ˆ์–ด(๋ผ๊ณ  ํ•ด๋„ ๋˜๋‚˜..) ๊ฐœ๋ฐœ์ž๊ฐ€ ๋งž๋Š” ๊ฑฐ ๊ฐ™๋‹ค. ์•„๋งˆ ์ €๋Ÿฐ ๊ณ ๋ฏผ๋“ค์„ ํ•  ๋•Œ ๋น„๋กœ์†Œ ์‹œ๋‹ˆ์–ด ๊ฐœ๋ฐœ์ž๊ฐ€ ๋˜๋Š” ๊ฒŒ ์•„๋‹๊นŒ ์‹ถ๋‹ค...(!!)

๋ถ€์บ ํ•˜๋ฉด์„œ ์ด๋ ‡๊ฒŒ ๊ธด ํšŒ๊ณ ๋ฅผ ์ ์€ ์ ์ด ์—†๋˜๊ฑฐ ๊ฐ™์€๋ฐ ์ด๋ฒˆ ๋Œ€ํšŒ๋„ ๊ทธ๋ ‡๊ณ  ๋ฉ˜ํ† ๋ง๋„ ๊ทธ๋ ‡๊ณ  ์˜ค๋Š˜๋”ฐ๋ผ ์ƒ๊ฐํ•  ๊ฒƒ๋„ ๋งŽ๊ณ  ๋Š๋‚€ ์ ๋„ ๋งŽ์•˜๋˜ ํ•˜๋ฃจ์˜€๋‹ค๐Ÿ‘๐Ÿ‘

 

 

728x90
Comments