์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- Absolute
- AGI
- ai
- AI agents
- AI engineer
- AI researcher
- ajax
- algorithm
- Algorithms
- aliases
- Array ๊ฐ์ฒด
- ASI
- bayes' theorem
- Bit
- Blur
- BOM
- bootstrap
- canva
- challenges
- ChatGPT
- Today
- In Total
A Joyful AI Research Journey๐ณ๐
Vision & LLM ๋ณธ๋ฌธ
VISION๊ณผ LLM(๋ํ ์ธ์ด ๋ชจ๋ธ)์ ๊ฐ๊ฐ์ ํน์ฑ๊ณผ ์์ฉ ๊ฐ๋ฅ์ฑ์ด ๋ค๋ฅด๊ธฐ ๋๋ฌธ์ ์ด๋ค ๊ฒ์ด ๋ ์ ๋ง์ด ์ข์์ง ๋จ์ ์ง๊ธฐ ์ด๋ ค์ด ์ธก๋ฉด์ด ์์ต๋๋ค. ๋ค๋ง ๋ ๋ถ์ผ ๋ชจ๋ AI ์ฐ๊ตฌ ๋ฐ ์ฐ์ ๋ด์์ ์ค์ํ ์ญํ ์ ํ๊ณ ์์ผ๋ฉฐ, ๊ฐ๊ธฐ ๋ค๋ฅธ ์ฅ์ ์ ๊ฐ์ง๊ณ ์์ต๋๋ค. ์ด๋ ์ชฝ์ด ๋ ์ ๋ง์ด ์ข๋ค๊ณ ๋ณด๋ค๋, ๊ฐ์ธ์ ์ธ ๊ด์ฌ์ฌ์ ์ปค๋ฆฌ์ด ๋ชฉํ์ ๋ฐ๋ผ ์ด๋ ์ชฝ์ด ๋ ๋ง๋์ง ์๊ฐํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. ๋ค์์ ๊ฐ ๋ถ์ผ์ ํ์ฌ ์ ๋ง๊ณผ ์ฅ๋จ์ ์ ๋ํ ๋น๊ต์ ๋๋ค.
VISION (์ปดํจํฐ ๋น์ )
- ๊ฐ์ ๊ณผ ์ ๋ง
- ๋ฌผ๋ฆฌ์ ์ธ๊ณ์์ ์ฐ๊ฒฐ: ์ปดํจํฐ ๋น์ ์ ์ด๋ฏธ์ง๋ ๋น๋์ค ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ์ฌ 3D ๊ฐ์ฒด ์ธ์, ํ๋ ์ธ์, ๊ณต๊ฐ์ ์ดํด ๋ฑ์ ํตํด ๋ฌผ๋ฆฌ์ ์ธ๊ณ์์ ์ํธ์์ฉ์ ๊ฐ๋ฅํ๊ฒ ํฉ๋๋ค. ์ด๋ ์์จ์ฃผํ์ฐจ, ๋ก๋ด ๊ณตํ, ์๋ฃ ์์ ๋ถ์ ๋ฑ ๋ค์ํ ์์ฉ ๋ถ์ผ์์ ๋งค์ฐ ์ค์ํ ์ญํ ์ ํฉ๋๋ค.
- ํ๋์จ์ด์์ ๊ฒฐํฉ ๊ฐ๋ฅ์ฑ: ์นด๋ฉ๋ผ, ์ผ์ ๋ฑ์ ํ๋์จ์ด์ ๊ฒฐํฉํ์ฌ ์ ํ์ ์ฝ๊ฒ ํตํฉ๋ ์ ์๊ธฐ ๋๋ฌธ์, ๋ง์ ์ฐ์ ๋ถ์ผ์์ ์ปดํจํฐ ๋น์ ๊ธฐ์ ์ ํ์๋ก ํฉ๋๋ค.
- ์ง์์ ์ธ ์์ ์ฆ๊ฐ: ํนํ ์์จ์ฃผํ์ฐจ, ๋๋ก , ์ ์กฐ์ ์ ์๋ํ, ๋ณด์ ๊ฐ์ ๋ฑ๊ณผ ๊ฐ์ ๋ถ์ผ์์ ์ปดํจํฐ ๋น์ ์ ์ค์์ฑ์ ๊ณ์ ์ฆ๊ฐํ๊ณ ์์ต๋๋ค.
- ํ๊ณ
- ๋ฐ์ดํฐ์ ๋ค์์ฑ: ์ปดํจํฐ ๋น์ ์ ๋ฐ์ดํฐ๊ฐ ํ์ค ์ธ๊ณ์์ ์ผ๋ง๋ ๋ณต์กํ๊ณ ๋ค์ํ์ง์ ์ํฅ์ ๋ง์ด ๋ฐ์ต๋๋ค. ๋ค๋ฅธ ๋๋ฉ์ธ์ ๋ฐ์ดํฐ์ ๋ฌ๋ฆฌ ์ด๋ฏธ์ง๋ ์กฐ๋ช , ๊ฐ๋, ํด์๋์ ํฌ๊ฒ ์ข์ฐ๋๊ธฐ ๋๋ฌธ์ ๋ชจ๋ธ์ ์ฑ๋ฅ์ ์ต์ ํํ๋ ๋ฐ ์ด๋ ค์์ด ์์ต๋๋ค.
- ํ์ต ๋น์ฉ: 3D ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ๊ฒ์ ๊ณ ์ฌ์์ ํ๋์จ์ด์ ๊ธด ํ๋ จ ์๊ฐ์ด ์๊ตฌ๋ ์ ์์ด ์ด๊ธฐ ๋น์ฉ์ด ํฌ๋ค๋ ํ๊ณ๊ฐ ์์ต๋๋ค.
LLM (๋ํ ์ธ์ด ๋ชจ๋ธ)
- ๊ฐ์ ๊ณผ ์ ๋ง
- ์ธ์ด ์ดํด ๋ฐ ์์ฑ ๋ฅ๋ ฅ: LLM์ ์์ฐ์ด ์ฒ๋ฆฌ(NLP) ๊ธฐ์ ์ ๊ธฐ๋ฐ์ผ๋ก, ์ฌ๋์ ์ธ์ด๋ฅผ ์ดํดํ๊ณ ์์ฑํ๋ ๋ฅ๋ ฅ์ด ๋งค์ฐ ๋ฐ์ด๋ฉ๋๋ค. ์ด๋ ์๋ ๋ฒ์ญ, ๋ํํ ์์ด์ ํธ, ์ฝํ ์ธ ์์ฑ ๋ฑ ์ฌ๋ฌ ์์ฉ ๋ถ์ผ์์ ํ์ฉ๋ ์ ์์ต๋๋ค.
- ๋ฒ์ฉ์ฑ: LLM์ ๋ค์ํ ์ธ์ด ํ์คํฌ(์์ฝ, ์ง๋ฌธ ์๋ต, ๋ํํ ์์คํ ๋ฑ)์ ๋ฒ์ฉ์ ์ผ๋ก ์ฌ์ฉํ ์ ์์ผ๋ฉฐ, ์๋ก์ด ๋ฐ์ดํฐ๋ฅผ ํ์ตํ์ฌ ๋ค๋ฅธ ๋๋ฉ์ธ์ ์ฝ๊ฒ ์ ์ฉ๋ ์ ์๋ ์ฅ์ ์ด ์์ต๋๋ค.
- ๋์ ๊ด์ฌ๊ณผ ๋ฐ์ ์๋: LLM ๋ถ์ผ๋ ํนํ ์ต๊ทผ์ ๋ง์ ๊ด์ฌ์ ๋ฐ๊ณ ์์ผ๋ฉฐ, ๋ํ ๊ธฐ์ ๊ณผ ์ฐ๊ตฌ ๊ธฐ๊ด์์ ํ๋ฐํ ์ฐ๊ตฌ๊ฐ ์งํ๋๊ณ ์์ต๋๋ค. ChatGPT, BERT, GPT-4์ ๊ฐ์ ๋ชจ๋ธ๋ค์ด ์ง์์ ์ผ๋ก ๋ฐ์ ํ๋ฉด์ ์์ ์ ์ธ ์์ฉ๊ณผ ํ์ ์ ์ฐ๊ตฌ๊ฐ ํญ๋ฐ์ ์ผ๋ก ์ฆ๊ฐํ๊ณ ์์ต๋๋ค.
- ํ๊ณ
- ๋ชจ๋ธ์ ํฌ๊ธฐ์ ๋น์ฉ: ๋ํ ์ธ์ด ๋ชจ๋ธ์ ๋งค์ฐ ํฐ ๋ฐ์ดํฐ์ ๊ณผ ์ฐ์ฐ ์์์ ์๊ตฌํ๊ธฐ ๋๋ฌธ์ ํ์ต ๋น์ฉ์ด ๋งค์ฐ ๋๊ณ , ๋ชจ๋ธ์ ๋ฐฐํฌํ๊ฑฐ๋ ์ ์งํ๋ ๋ฐ๋ ๋น์ฉ์ด ํฝ๋๋ค.
- ํน์ ํ ๋๋ฉ์ธ ์ ์ฉ์ ์ด๋ ค์: LLM์ ์ผ๋ฐ์ ์ผ๋ก ๋งค์ฐ ๋ง์ ์ธ์ด ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ์ต๋๊ธฐ ๋๋ฌธ์ ํน์ ํ ๋๋ฉ์ธ์ด๋ ๋งฅ๋ฝ์์์ ์ ์ฉ์์ ํ๊ณ๊ฐ ์์ ์ ์์ต๋๋ค.
๊ฒฐ๋ก ๋ฐ ์ปค๋ฆฌ์ด ์ ๋ง
- ์ตํฉ์ ๊ฐ๋ฅ์ฑ: LLM๊ณผ ์ปดํจํฐ ๋น์ ์ ์๋ก์ ํ๊ณ๋ฅผ ๋ณด์ํ๋ฉฐ ์ตํฉ๋์ด ์ฌ์ฉ๋ ๊ฐ๋ฅ์ฑ์ด ํฝ๋๋ค. ์๋ฅผ ๋ค์ด Vision-Language ๋ชจ๋ธ (์: CLIP, DALL-E, Flamingo ๋ฑ)์ ์ด๋ฏธ์ง์ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ๋์์ ํ์ตํ์ฌ ๋ฉํฐ๋ชจ๋ฌ AI๋ฅผ ๊ตฌํํ๊ณ ์์ต๋๋ค. ์ด๋ฌํ ์ตํฉ ๊ธฐ์ ์ ์ปดํจํฐ ๋น์ ๊ณผ NLP ์์ชฝ์ ๊ฐ์ ์ ๊ฒฐํฉํ๋ ๊ฐ๋ ฅํ ๋๊ตฌ๋ก์, ์์ผ๋ก ๋ง์ ์์ฉ ๋ถ์ผ์์ ์ฃผ์ ์ญํ ์ ํ ๊ฒ์ ๋๋ค.
- ๊ฐ์ธ์ ๋ชฉํ์ ๋ฐ๋ผ ์ ํ: ๋ง์ฝ ์ฌ์ฉ์๊ฐ ๋ฌผ๋ฆฌ์ ์ธ๊ณ์ ์ํธ์์ฉํ๊ณ ์ด๋ฅผ ์๋ํํ๊ฑฐ๋ ์๊ฐ์ ์ ๋ณด๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ ์๋ฃจ์ ์ ๊ฐ๋ฐํ๊ณ ์ถ๋ค๋ฉด ์ปดํจํฐ ๋น์ ์ด ๋ ์ ํฉํ ๊ฒ์ ๋๋ค. ๋ฐ๋ฉด์ ์ธ์ด ์ดํด, ํ ์คํธ ์์ฑ, ๋ํํ AI์ ๊ด์ฌ์ด ์๋ค๋ฉด LLM์ด ๋ ๋์ ์ ํ์ผ ์ ์์ต๋๋ค.
- ๋ฏธ๋์ ์์: ์์จ์ฃผํ, ๋ก๋ด ๊ณตํ, ์ค๋งํธ ํฉํ ๋ฆฌ ๋ฑ์์๋ ์ปดํจํฐ ๋น์ ์ ์์๊ฐ ๋๊ณ , ๋ฐ๋ฉด ๊ณ ๊ฐ ์๋น์ค, ๊ฐ์ธํ๋ ๋ง์ผํ , ์๋ํ๋ ํ ์คํธ ์์ฑ ๋ฑ์์๋ LLM์ ์์๊ฐ ๋์ต๋๋ค. ๋ฐ๋ผ์ ์ด๋ค ๋ถ์ผ์์ ์ผํ๊ณ ์ถ์์ง์ ๋ฐ๋ผ ์ ํ์ด ๋ฌ๋ผ์ง ์ ์์ต๋๋ค.
๋ ๊ธฐ์ ๋ชจ๋ ๊ณ์ํด์ ๋ฐ์ ํ ๊ฐ๋ฅ์ฑ์ด ๋๊ณ , ์๋ก ๋ณด์ํ๋ ํน์ฑ์ ๊ฐ์ง๊ธฐ ๋๋ฌธ์ ๋ฉํฐ๋ชจ๋ฌ ์ ๊ทผ๋ฒ์ ํตํ ์ฐ๊ตฌ๋ ์ปค๋ฆฌ์ด ๊ฐ๋ฐ ๋ํ ํฐ ์ฅ์ ์ด ๋ ์ ์์ต๋๋ค.
VISION๊ณผ LLM ๋ชจ๋ ํฐ ์ ์ฌ๋ ฅ์ด ์์ง๋ง, ๊ฐ๊ฐ์ ์ฅ๋จ์ ๊ณผ ์ ๋ง์ ๋ถ์ํด๋ณด๊ฒ ์ต๋๋ค:
LLM์ ๊ฐ์ ๊ณผ ์ ๋ง:
- ๊ฑฐ์ ๋ชจ๋ ์ฐ์ ์์ ํ์ฉ ๊ฐ๋ฅ (๋ฌธ์์์ฑ, ์ฝ๋ฉ, ๊ณ ๊ฐ์๋น์ค ๋ฑ)
- ๊ธฐ์กด ๋น์ฆ๋์ค ํ๋ก์ธ์ค์ ์ฝ๊ฒ ํตํฉ ๊ฐ๋ฅ
- ๊ฒ์ฆ๋ ๋น์ฆ๋์ค ๋ชจ๋ธ ์กด์ฌ (ChatGPT, Claude ๋ฑ)
- ํ์ต ๋ฐ์ดํฐ ํ๋ณด๊ฐ ์๋์ ์ผ๋ก ์ฉ์ด
VISION์ ๊ฐ์ ๊ณผ ์ ๋ง:
- ์๋ฃ์์ ๋ถ์, ์์จ์ฃผํ, ๋ณด์/๊ฐ์ ๋ฑ ํนํ๋ ๋ถ์ผ์์ ๋์ ๊ฐ์น
- ์ค์๊ฐ ๋ฌผ์ฒด ์ธ์๊ณผ ์ฒ๋ฆฌ ๋ฅ๋ ฅ
- AR/VR๊ณผ ๊ฒฐํฉํ์ฌ ์๋ก์ด ์์ฉ ๋ถ์ผ ์ฐฝ์ถ ๊ฐ๋ฅ
- ์์ง ๊ฐ๋ฐ/๋ฐ์ ์ฌ์ง๊ฐ ๋ง์
ํ์ฌ ์ํฉ:
- LLM์ด ๋ ๊ด๋ฒ์ํ๊ฒ ํ์ฉ๋๊ณ ์์
- VISION์ ํน์ ๋ถ์ผ์์ ๋ ๊น์ ํ์ ์ ๊ฐ์ ธ์ฌ ์ ์์
- ๋ ๊ธฐ์ ์ ๊ฒฐํฉ(๋ฉํฐ๋ชจ๋ฌ AI)์ด ํฅํ ์ฃผ๋ชฉ๋ฐ์ ๊ฒ์ผ๋ก ์์
๊ฒฐ๋ก ์ ์ผ๋ก, ๋์ ๋น๊ตํ์ฌ "๋ ์ข๋ค"๊ณ ํ๊ธฐ๋ ์ด๋ ต๊ณ , ๊ฐ์์ ์์ญ์์ ์ค์ํ ๋ฐ์ ์ด ์์๋ฉ๋๋ค. ํนํ ๋ ๊ธฐ์ ์ ๊ฒฐํฉ์ด ๊ฐ์ ธ์ฌ ์๋์ง์ ์ฃผ๋ชฉํ ํ์๊ฐ ์์ต๋๋ค.