Notice
Recent Posts
Recent Comments
ยซ   2024/12   ยป
์ผ ์›” ํ™” ์ˆ˜ ๋ชฉ ๊ธˆ ํ† 
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31
Archives
Today
In Total
๊ด€๋ฆฌ ๋ฉ”๋‰ด

A Joyful AI Research Journey๐ŸŒณ๐Ÿ˜Š

Vision & LLM ๋ณธ๋ฌธ

 

VISION๊ณผ LLM(๋Œ€ํ˜• ์–ธ์–ด ๋ชจ๋ธ)์€ ๊ฐ๊ฐ์˜ ํŠน์„ฑ๊ณผ ์‘์šฉ ๊ฐ€๋Šฅ์„ฑ์ด ๋‹ค๋ฅด๊ธฐ ๋•Œ๋ฌธ์— ์–ด๋–ค ๊ฒƒ์ด ๋” ์ „๋ง์ด ์ข‹์€์ง€ ๋‹จ์ •์ง“๊ธฐ ์–ด๋ ค์šด ์ธก๋ฉด์ด ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ค๋งŒ ๋‘ ๋ถ„์•ผ ๋ชจ๋‘ AI ์—ฐ๊ตฌ ๋ฐ ์‚ฐ์—… ๋‚ด์—์„œ ์ค‘์š”ํ•œ ์—ญํ• ์„ ํ•˜๊ณ  ์žˆ์œผ๋ฉฐ, ๊ฐ๊ธฐ ๋‹ค๋ฅธ ์žฅ์ ์„ ๊ฐ€์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์–ด๋Š ์ชฝ์ด ๋” ์ „๋ง์ด ์ข‹๋‹ค๊ณ  ๋ณด๋‹ค๋Š”, ๊ฐœ์ธ์ ์ธ ๊ด€์‹ฌ์‚ฌ์™€ ์ปค๋ฆฌ์–ด ๋ชฉํ‘œ์— ๋”ฐ๋ผ ์–ด๋Š ์ชฝ์ด ๋” ๋งž๋Š”์ง€ ์ƒ๊ฐํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์Œ์€ ๊ฐ ๋ถ„์•ผ์˜ ํ˜„์žฌ ์ „๋ง๊ณผ ์žฅ๋‹จ์ ์— ๋Œ€ํ•œ ๋น„๊ต์ž…๋‹ˆ๋‹ค.

VISION (์ปดํ“จํ„ฐ ๋น„์ „)

  1. ๊ฐ•์ ๊ณผ ์ „๋ง
    • ๋ฌผ๋ฆฌ์  ์„ธ๊ณ„์™€์˜ ์—ฐ๊ฒฐ: ์ปดํ“จํ„ฐ ๋น„์ „์€ ์ด๋ฏธ์ง€๋‚˜ ๋น„๋””์˜ค ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜์—ฌ 3D ๊ฐ์ฒด ์ธ์‹, ํ–‰๋™ ์ธ์‹, ๊ณต๊ฐ„์  ์ดํ•ด ๋“ฑ์„ ํ†ตํ•ด ๋ฌผ๋ฆฌ์  ์„ธ๊ณ„์™€์˜ ์ƒํ˜ธ์ž‘์šฉ์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ์ž์œจ์ฃผํ–‰์ฐจ, ๋กœ๋ด‡ ๊ณตํ•™, ์˜๋ฃŒ ์˜์ƒ ๋ถ„์„ ๋“ฑ ๋‹ค์–‘ํ•œ ์‘์šฉ ๋ถ„์•ผ์—์„œ ๋งค์šฐ ์ค‘์š”ํ•œ ์—ญํ• ์„ ํ•ฉ๋‹ˆ๋‹ค.
    • ํ•˜๋“œ์›จ์–ด์™€์˜ ๊ฒฐํ•ฉ ๊ฐ€๋Šฅ์„ฑ: ์นด๋ฉ”๋ผ, ์„ผ์„œ ๋“ฑ์˜ ํ•˜๋“œ์›จ์–ด์™€ ๊ฒฐํ•ฉํ•˜์—ฌ ์ œํ’ˆ์— ์‰ฝ๊ฒŒ ํ†ตํ•ฉ๋  ์ˆ˜ ์žˆ๊ธฐ ๋•Œ๋ฌธ์—, ๋งŽ์€ ์‚ฐ์—… ๋ถ„์•ผ์—์„œ ์ปดํ“จํ„ฐ ๋น„์ „ ๊ธฐ์ˆ ์„ ํ•„์š”๋กœ ํ•ฉ๋‹ˆ๋‹ค.
    • ์ง€์†์ ์ธ ์ˆ˜์š” ์ฆ๊ฐ€: ํŠนํžˆ ์ž์œจ์ฃผํ–‰์ฐจ, ๋“œ๋ก , ์ œ์กฐ์—…์˜ ์ž๋™ํ™”, ๋ณด์•ˆ ๊ฐ์‹œ ๋“ฑ๊ณผ ๊ฐ™์€ ๋ถ„์•ผ์—์„œ ์ปดํ“จํ„ฐ ๋น„์ „์˜ ์ค‘์š”์„ฑ์€ ๊ณ„์† ์ฆ๊ฐ€ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
  2. ํ•œ๊ณ„
    • ๋ฐ์ดํ„ฐ์˜ ๋‹ค์–‘์„ฑ: ์ปดํ“จํ„ฐ ๋น„์ „์€ ๋ฐ์ดํ„ฐ๊ฐ€ ํ˜„์‹ค ์„ธ๊ณ„์—์„œ ์–ผ๋งˆ๋‚˜ ๋ณต์žกํ•˜๊ณ  ๋‹ค์–‘ํ•œ์ง€์— ์˜ํ–ฅ์„ ๋งŽ์ด ๋ฐ›์Šต๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ๋„๋ฉ”์ธ์˜ ๋ฐ์ดํ„ฐ์™€ ๋‹ฌ๋ฆฌ ์ด๋ฏธ์ง€๋Š” ์กฐ๋ช…, ๊ฐ๋„, ํ•ด์ƒ๋„์— ํฌ๊ฒŒ ์ขŒ์šฐ๋˜๊ธฐ ๋•Œ๋ฌธ์— ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ์„ ์ตœ์ ํ™”ํ•˜๋Š” ๋ฐ ์–ด๋ ค์›€์ด ์žˆ์Šต๋‹ˆ๋‹ค.
    • ํ•™์Šต ๋น„์šฉ: 3D ๋ฐ์ดํ„ฐ๋ฅผ ๋‹ค๋ฃจ๋Š” ๊ฒƒ์€ ๊ณ ์‚ฌ์–‘์˜ ํ•˜๋“œ์›จ์–ด์™€ ๊ธด ํ›ˆ๋ จ ์‹œ๊ฐ„์ด ์š”๊ตฌ๋  ์ˆ˜ ์žˆ์–ด ์ดˆ๊ธฐ ๋น„์šฉ์ด ํฌ๋‹ค๋Š” ํ•œ๊ณ„๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

LLM (๋Œ€ํ˜• ์–ธ์–ด ๋ชจ๋ธ)

  1. ๊ฐ•์ ๊ณผ ์ „๋ง
    • ์–ธ์–ด ์ดํ•ด ๋ฐ ์ƒ์„ฑ ๋Šฅ๋ ฅ: LLM์€ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP) ๊ธฐ์ˆ ์„ ๊ธฐ๋ฐ˜์œผ๋กœ, ์‚ฌ๋žŒ์˜ ์–ธ์–ด๋ฅผ ์ดํ•ดํ•˜๊ณ  ์ƒ์„ฑํ•˜๋Š” ๋Šฅ๋ ฅ์ด ๋งค์šฐ ๋›ฐ์–ด๋‚ฉ๋‹ˆ๋‹ค. ์ด๋Š” ์ž๋™ ๋ฒˆ์—ญ, ๋Œ€ํ™”ํ˜• ์—์ด์ „ํŠธ, ์ฝ˜ํ…์ธ  ์ƒ์„ฑ ๋“ฑ ์—ฌ๋Ÿฌ ์‘์šฉ ๋ถ„์•ผ์—์„œ ํ™œ์šฉ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
    • ๋ฒ”์šฉ์„ฑ: LLM์€ ๋‹ค์–‘ํ•œ ์–ธ์–ด ํƒœ์Šคํฌ(์š”์•ฝ, ์งˆ๋ฌธ ์‘๋‹ต, ๋Œ€ํ™”ํ˜• ์‹œ์Šคํ…œ ๋“ฑ)์— ๋ฒ”์šฉ์ ์œผ๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์ƒˆ๋กœ์šด ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šตํ•˜์—ฌ ๋‹ค๋ฅธ ๋„๋ฉ”์ธ์— ์‰ฝ๊ฒŒ ์ ์šฉ๋  ์ˆ˜ ์žˆ๋Š” ์žฅ์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค.
    • ๋†’์€ ๊ด€์‹ฌ๊ณผ ๋ฐœ์ „ ์†๋„: LLM ๋ถ„์•ผ๋Š” ํŠนํžˆ ์ตœ๊ทผ์— ๋งŽ์€ ๊ด€์‹ฌ์„ ๋ฐ›๊ณ  ์žˆ์œผ๋ฉฐ, ๋Œ€ํ˜• ๊ธฐ์—…๊ณผ ์—ฐ๊ตฌ ๊ธฐ๊ด€์—์„œ ํ™œ๋ฐœํžˆ ์—ฐ๊ตฌ๊ฐ€ ์ง„ํ–‰๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ChatGPT, BERT, GPT-4์™€ ๊ฐ™์€ ๋ชจ๋ธ๋“ค์ด ์ง€์†์ ์œผ๋กœ ๋ฐœ์ „ํ•˜๋ฉด์„œ ์ƒ์—…์ ์ธ ์‘์šฉ๊ณผ ํ•™์ˆ ์  ์—ฐ๊ตฌ๊ฐ€ ํญ๋ฐœ์ ์œผ๋กœ ์ฆ๊ฐ€ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
  2. ํ•œ๊ณ„
    • ๋ชจ๋ธ์˜ ํฌ๊ธฐ์™€ ๋น„์šฉ: ๋Œ€ํ˜• ์–ธ์–ด ๋ชจ๋ธ์€ ๋งค์šฐ ํฐ ๋ฐ์ดํ„ฐ์…‹๊ณผ ์—ฐ์‚ฐ ์ž์›์„ ์š”๊ตฌํ•˜๊ธฐ ๋•Œ๋ฌธ์— ํ•™์Šต ๋น„์šฉ์ด ๋งค์šฐ ๋†’๊ณ , ๋ชจ๋ธ์„ ๋ฐฐํฌํ•˜๊ฑฐ๋‚˜ ์œ ์ง€ํ•˜๋Š” ๋ฐ๋„ ๋น„์šฉ์ด ํฝ๋‹ˆ๋‹ค.
    • ํŠน์ •ํ•œ ๋„๋ฉ”์ธ ์ ์šฉ์˜ ์–ด๋ ค์›€: LLM์€ ์ผ๋ฐ˜์ ์œผ๋กœ ๋งค์šฐ ๋งŽ์€ ์–ธ์–ด ๋ฐ์ดํ„ฐ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•™์Šต๋˜๊ธฐ ๋•Œ๋ฌธ์— ํŠน์ •ํ•œ ๋„๋ฉ”์ธ์ด๋‚˜ ๋งฅ๋ฝ์—์„œ์˜ ์ ์šฉ์—์„œ ํ•œ๊ณ„๊ฐ€ ์žˆ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ฒฐ๋ก  ๋ฐ ์ปค๋ฆฌ์–ด ์ „๋ง

  • ์œตํ•ฉ์˜ ๊ฐ€๋Šฅ์„ฑ: LLM๊ณผ ์ปดํ“จํ„ฐ ๋น„์ „์€ ์„œ๋กœ์˜ ํ•œ๊ณ„๋ฅผ ๋ณด์™„ํ•˜๋ฉฐ ์œตํ•ฉ๋˜์–ด ์‚ฌ์šฉ๋  ๊ฐ€๋Šฅ์„ฑ์ด ํฝ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด Vision-Language ๋ชจ๋ธ (์˜ˆ: CLIP, DALL-E, Flamingo ๋“ฑ)์€ ์ด๋ฏธ์ง€์™€ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ๋™์‹œ์— ํ•™์Šตํ•˜์—ฌ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ AI๋ฅผ ๊ตฌํ˜„ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์œตํ•ฉ ๊ธฐ์ˆ ์€ ์ปดํ“จํ„ฐ ๋น„์ „๊ณผ NLP ์–‘์ชฝ์˜ ๊ฐ•์ ์„ ๊ฒฐํ•ฉํ•˜๋Š” ๊ฐ•๋ ฅํ•œ ๋„๊ตฌ๋กœ์„œ, ์•ž์œผ๋กœ ๋งŽ์€ ์‘์šฉ ๋ถ„์•ผ์—์„œ ์ฃผ์š” ์—ญํ• ์„ ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค.
  • ๊ฐœ์ธ์  ๋ชฉํ‘œ์— ๋”ฐ๋ผ ์„ ํƒ: ๋งŒ์•ฝ ์‚ฌ์šฉ์ž๊ฐ€ ๋ฌผ๋ฆฌ์  ์„ธ๊ณ„์™€ ์ƒํ˜ธ์ž‘์šฉํ•˜๊ณ  ์ด๋ฅผ ์ž๋™ํ™”ํ•˜๊ฑฐ๋‚˜ ์‹œ๊ฐ์  ์ •๋ณด๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๋Š” ์†”๋ฃจ์…˜์„ ๊ฐœ๋ฐœํ•˜๊ณ  ์‹ถ๋‹ค๋ฉด ์ปดํ“จํ„ฐ ๋น„์ „์ด ๋” ์ ํ•ฉํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋ฐ˜๋ฉด์— ์–ธ์–ด ์ดํ•ด, ํ…์ŠคํŠธ ์ƒ์„ฑ, ๋Œ€ํ™”ํ˜• AI์— ๊ด€์‹ฌ์ด ์žˆ๋‹ค๋ฉด LLM์ด ๋” ๋‚˜์€ ์„ ํƒ์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋ฏธ๋ž˜์˜ ์ˆ˜์š”: ์ž์œจ์ฃผํ–‰, ๋กœ๋ด‡ ๊ณตํ•™, ์Šค๋งˆํŠธ ํŒฉํ† ๋ฆฌ ๋“ฑ์—์„œ๋Š” ์ปดํ“จํ„ฐ ๋น„์ „์˜ ์ˆ˜์š”๊ฐ€ ๋†’๊ณ , ๋ฐ˜๋ฉด ๊ณ ๊ฐ ์„œ๋น„์Šค, ๊ฐœ์ธํ™”๋œ ๋งˆ์ผ€ํŒ…, ์ž๋™ํ™”๋œ ํ…์ŠคํŠธ ์ƒ์„ฑ ๋“ฑ์—์„œ๋Š” LLM์˜ ์ˆ˜์š”๊ฐ€ ๋†’์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์–ด๋–ค ๋ถ„์•ผ์—์„œ ์ผํ•˜๊ณ  ์‹ถ์€์ง€์— ๋”ฐ๋ผ ์„ ํƒ์ด ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋‘ ๊ธฐ์ˆ  ๋ชจ๋‘ ๊ณ„์†ํ•ด์„œ ๋ฐœ์ „ํ•  ๊ฐ€๋Šฅ์„ฑ์ด ๋†’๊ณ , ์„œ๋กœ ๋ณด์™„ํ•˜๋Š” ํŠน์„ฑ์„ ๊ฐ€์ง€๊ธฐ ๋•Œ๋ฌธ์— ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์ ‘๊ทผ๋ฒ•์„ ํ†ตํ•œ ์—ฐ๊ตฌ๋‚˜ ์ปค๋ฆฌ์–ด ๊ฐœ๋ฐœ ๋˜ํ•œ ํฐ ์žฅ์ ์ด ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.


VISION๊ณผ LLM ๋ชจ๋‘ ํฐ ์ž ์žฌ๋ ฅ์ด ์žˆ์ง€๋งŒ, ๊ฐ๊ฐ์˜ ์žฅ๋‹จ์ ๊ณผ ์ „๋ง์„ ๋ถ„์„ํ•ด๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค:

LLM์˜ ๊ฐ•์ ๊ณผ ์ „๋ง:

  • ๊ฑฐ์˜ ๋ชจ๋“  ์‚ฐ์—…์—์„œ ํ™œ์šฉ ๊ฐ€๋Šฅ (๋ฌธ์„œ์ž‘์„ฑ, ์ฝ”๋”ฉ, ๊ณ ๊ฐ์„œ๋น„์Šค ๋“ฑ)
  • ๊ธฐ์กด ๋น„์ฆˆ๋‹ˆ์Šค ํ”„๋กœ์„ธ์Šค์— ์‰ฝ๊ฒŒ ํ†ตํ•ฉ ๊ฐ€๋Šฅ
  • ๊ฒ€์ฆ๋œ ๋น„์ฆˆ๋‹ˆ์Šค ๋ชจ๋ธ ์กด์žฌ (ChatGPT, Claude ๋“ฑ)
  • ํ•™์Šต ๋ฐ์ดํ„ฐ ํ™•๋ณด๊ฐ€ ์ƒ๋Œ€์ ์œผ๋กœ ์šฉ์ด

VISION์˜ ๊ฐ•์ ๊ณผ ์ „๋ง:

  • ์˜๋ฃŒ์˜์ƒ ๋ถ„์„, ์ž์œจ์ฃผํ–‰, ๋ณด์•ˆ/๊ฐ์‹œ ๋“ฑ ํŠนํ™”๋œ ๋ถ„์•ผ์—์„œ ๋†’์€ ๊ฐ€์น˜
  • ์‹ค์‹œ๊ฐ„ ๋ฌผ์ฒด ์ธ์‹๊ณผ ์ฒ˜๋ฆฌ ๋Šฅ๋ ฅ
  • AR/VR๊ณผ ๊ฒฐํ•ฉํ•˜์—ฌ ์ƒˆ๋กœ์šด ์‘์šฉ ๋ถ„์•ผ ์ฐฝ์ถœ ๊ฐ€๋Šฅ
  • ์•„์ง ๊ฐœ๋ฐœ/๋ฐœ์ „ ์—ฌ์ง€๊ฐ€ ๋งŽ์Œ

ํ˜„์žฌ ์ƒํ™ฉ:

  • LLM์ด ๋” ๊ด‘๋ฒ”์œ„ํ•˜๊ฒŒ ํ™œ์šฉ๋˜๊ณ  ์žˆ์Œ
  • VISION์€ ํŠน์ • ๋ถ„์•ผ์—์„œ ๋” ๊นŠ์€ ํ˜์‹ ์„ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Œ
  • ๋‘ ๊ธฐ์ˆ ์˜ ๊ฒฐํ•ฉ(๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ AI)์ด ํ–ฅํ›„ ์ฃผ๋ชฉ๋ฐ›์„ ๊ฒƒ์œผ๋กœ ์˜ˆ์ƒ

๊ฒฐ๋ก ์ ์œผ๋กœ, ๋‘˜์„ ๋น„๊ตํ•˜์—ฌ "๋” ์ข‹๋‹ค"๊ณ  ํ•˜๊ธฐ๋Š” ์–ด๋ ต๊ณ , ๊ฐ์ž์˜ ์˜์—ญ์—์„œ ์ค‘์š”ํ•œ ๋ฐœ์ „์ด ์˜ˆ์ƒ๋ฉ๋‹ˆ๋‹ค. ํŠนํžˆ ๋‘ ๊ธฐ์ˆ ์˜ ๊ฒฐํ•ฉ์ด ๊ฐ€์ ธ์˜ฌ ์‹œ๋„ˆ์ง€์— ์ฃผ๋ชฉํ•  ํ•„์š”๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

728x90
๋ฐ˜์‘ํ˜•
Comments