[7] 241107 Generative AI [Goorm All-In-One Pass! AI Project Master 4기 7일]

241107 Thu 7th class

오늘 배운 것 중 기억할 것을 정리했다.

---

노코딩으로 가는 회사, 사람들이 많다. 

맥락을 보고 전략적으로 한다 
현재 위치를 명확하게 파악한다
공부와 실력은 차이가 있다 
원하는 곳이 안 되면 밑으로 간다 
일 하려고 하면 기준을 높게 세우지X 

대기업: 코딩 테스트
중소기업: 실력 쌓고 -> 큰 기업 

마치고 3-5시간 공부, 논문 모임 등
1년 후 이직 (관련 회사)

분야 잘 정하기 

뭘 하고 싶다 목표 잘 정하기

그 분야의 논문 읽는 수준으로 간다

몇 년 걸린다 모르는 게 당연한 거다 

실무자의 수준으로 공부한다 실무자도 다 모른다 공부 엄청한다 

수준이 아닌 데 그걸 보고 있다 (논문, 스탠포드 강의, 내 수준에 맡는 책)

서점에 가서 직접 가서 읽어봐야 한다 

책은 두 세번 봐야 의미 있다. 

각오가 안 된 책이면 reference 책을 본다 수준에 맞는 걸로 본다 

오프라인, 실시간 온라인 강의가 낫다 

전문가가 아니어도 제품 만든다 (프롬프트 엔지니어링) 

경쟁이 붙기 시작하면 롱런이 어려워진다 

프로젝트 자기 수준X

이슈화 시킴, 제대로 하면 이슈가 발생한다 (성능 등)

지식이 늘어나야 한다 

PPT 자료 만들고 발표 -> 동무 됨 

---

이 논문에 대해 아주 쉽게 설명을 해주렴. 

---

[학습 목표]
생성형 AI의 이미지 생성에 대해 이해해 봅니다.
LangChain을 활용하여 LLM을 구현해 봅니다.
머신러닝의 기본과 LLM을 이해해 봅니다.


[학습 내용]
============================
(1) 지난 시간 리뷰(텍스트 데이터 처리, ChatGPT API)
(2) 이미지 Prompt Engineering에 대해 알아봅니다.
(3) 생성형 AI에 대해 알아봅니다.
(4) LangChain을 활용한 LLM을 구현해 봅니다.
(5) 머신러닝 기본과 LLM을 이해해 봅니다.
(6) 파일럿 프로젝트 수행하기 
============================

---

https://www.adobe.com/products/firefly/features/text-to-image.html

AI Image Generator: Text to Image Online - Adobe Firefly

---

할루시네이션
- Prompt Engineering
- RAG

---

플레이 그라운드 사용하기
https://platform.openai.com/background

https://platform.openai.com/playground/chat?models=gpt-3.5-turbo

---

이미지 생성 AI 이해 및 실습(1), (2)
https://rowan-sail-868.notion.site/AI-fff7d480b59380dfafbcca54da08e616?pvs=74 

이미지 생성 AI 이해 및 실습 | Notion

 

Prompt 엔지니어링 - 이미지
 https://rowan-sail-868.notion.site/Prompt-10e7d480b593804d9a49cdfbae95f762?pvs=74

Prompt 엔지니어링 - 이미지 | Notion

 

---

Stable Diffusion Online(스테이블 디퓨전)

https://stablediffusionweb.com/

---

수치화: 미드저니 성능이 좋다 (숫자로 가중치를 둔다) 

• 숫자로 가중치를 둘 수 있다.
  • (Cute:1.5), (Puppy:0.7), (Sea:0.3)

---

다른 사람들이 생성한 프롬프트 확인해 보기

CIVITAI : https://civitai.com/

---

2-2 이미지 만들어보기

실습 2-3 나만의 이미지 만들고 공유하기

---

https://civitai.com/images/38668944

Image posted by kokumi

스테이블 디퓨전에 넣어보기

사용한 프롬프트

retro poster of a realistic cute cat in kimono kneeling,
looking at viewer,japanese text, advertise,"BUZZ ME PLEASE!" 
<lora:flux-lora-80sJPadvertise:1.0>

긍정 프롬프트는 원하는 출력의 특징을 설명하며, 부정 프롬프트는 원하는 스타일이나 객체를 제거하는 방식으로 사용됩니다. 긍정 프롬프트를 통해 원하는 이미지의 디자인 요소(캐릭터, 소품, 색상 등)를 강조하고, 부정 프롬프트를 통해 불필요한 요소들을 명시할 수 있습니다. 이러한 방법을 통해 보다 명확한 결과를 얻을 수 있습니다.

---

The notation `<lora:flux-lora-80sJPadvertise:1.0>` is a prompt tag that is commonly used in text-to-image generative AI models, such as those in stable diffusion or other machine learning-based image generation models. Let's break it down:

1. **Lora**: Refers to the concept of "LoRA," which stands for "Low-Rank Adaptation." It is a specialized technique for training AI models that allows for easier and quicker training to specific styles or elements without needing the entire model to be retrained. In image generation, LoRA can be used to fine-tune a model to generate images in a certain style or theme.

2. **flux-lora-80sJPadvertise**: This is likely a specific name given to a LoRA model or a checkpoint. The name suggests a theme based on "80s Japanese advertising" (`80sJPadvertise`). It implies that this particular LoRA checkpoint is trained or fine-tuned to generate images in a style reminiscent of Japanese advertising from the 1980s, which often has a retro, vibrant, and unique aesthetic.

3. **1.0**: This number indicates the weight or influence that the specified LoRA should have in generating the image. A value of `1.0` usually means that the model will apply the LoRA exactly as intended, with full strength. A lower value like `0.5` would mean less influence, and a higher value would increase the influence.

So, in the context of your prompt:

- **"<lora:flux-lora-80sJPadvertise:1.0>"** is a directive that tells the model to use a pre-trained LoRA model named `flux-lora-80sJPadvertise` with a weight of `1.0`. This will ensure that the generated image has stylistic elements reminiscent of 1980s Japanese advertising.

In simpler terms, this part of the prompt tells the image generator to create the poster with a retro, 80s-inspired Japanese advertising vibe. The rest of the prompt ("retro poster of a realistic cute cat in kimono kneeling, looking at viewer, japanese text, advertise, 'BUZZ ME PLEASE!'") describes the content and scene, while the LoRA tag specifies the style in which the image should be created.

---

결과) Stable diffusion

GPT-4o 

Stable Diffusion Web에서 음성 프롬프트 추가

cartoonish, abstract, distorted, low quality, extra limbs

결과)

 

---

https://huggingface.co/spaces/stabilityai/stable-diffusion

Stable Diffusion 2-1 - a Hugging Face Space by stabilityai

 

https://www.adobe.com/products/firefly/features/text-to-image.html

AI Image Generator: Text to Image Online - Adobe Firefly

---

https://rowan-sail-868.notion.site/Prompt-10e7d480b593804d9a49cdfbae95f762?pvs=74

Prompt 엔지니어링 - 이미지 | Notion

가중치를 5배를 부여하겠다. 2부터 10까지 입력이 가능. (일반적으로 0~10까지)

특정 키워드의 값이 높을 수록 다른 키워드는 이미지에 적용이 되지 않을 가능성이 있다.

Elegant cliff-side villa overlooking pristine coastline, 
in the style of Vincent van Gogh, rainbow color::5 --style raw

가장 중요하다고 생각하는 프롬프트 내용을 가장 앞에 둔다.

---

01 내가 만들고하는 이미지

고양이 (고등어 태비, 러시안 블루) 두 마리가 해변의 해먹에 있음 

02 Prompt

a brown tabby cat with a white fur face, 
emerald eyes and russian blue cat with emeral eyes laying down in the beige hammock 
between a palm tree in front to beautiful beach, look in the distance

음성 프롬프트 

cartoonish, abstract, distorted, low quality, extra limbs

03 내가 만든 결과(어디를 썼다.)

Stable diffusion web

---

https://www.instagram.com/ambre_ai/?hl=ko

https://www.instagram.com/shael.ai/

https://www.instagram.com/bonnycarrera/

Elegant cliff-side villa overlooking pristine coastline --style raw

Elegant cliff-side villa overlooking pristine coastline, in the style of Vincent van Gogh --style raw

이것으로 이미지 만들어주렴.

https://rowan-sail-868.notion.site/Prompt-10e7d480b593804d9a49cdfbae95f762

Prompt 엔지니어링 - 이미지 | Notion

---

https://flux-ai.io/ , https://ideogram.ai/. ImageFX

---

Another student)
내가 만들고자 하는 이미지: 미니멀리즘 스타일의 피아노 그림을 간결하고 세련되게 표현하고 싶었습니다
프롬프트: a one liners drawing of piano, minimalistic elements, abstract whispers, tondo, minimalistic design, kurzgesagt, calligraphic lines

---

https://rowan-sail-868.notion.site/AI-d47af143356d48028f66ac299344988f?pvs=74

생성 AI 이해하기 | Notion

https://ldjwj.github.io/CHATGPT_AI_CLASS/LLM%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%B0_V10_wc_PDF.pdf
토큰화란 문장이나 문서를 의미 있는 단위로 분할하는 과정

임베딩: 단어나 문장과 같은 이산적인 데이터를 연속적인 벡터 공간으로 변환하는 기술 

대량의 데이터를 모델로 학습시키는 사전학습(pre-training).

공공 와이파이 정보 유출 가능

논문 : Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(2020년 10월 발표). Facebook AI Research의 연구자 멤버

https://arxiv.org/abs/2005.11401

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

API는 한 프로그램이 다른 프로그램의 기능을 사용할 수 있도록 도와주는 "다리" 역할.

데이터를 인터넷으로 가져옴
식당 주문 -> 식당 전달 (API) -> 주방 조리 (Python) -> 테이블

---

Google Scholar: 다양한 학술 자료를 검색할 수 있는 대표적인 사이트입니다. 특정 연구 분야나 논문을 찾기에 유용하며, 다양한 필터링 기능을 제공합니다.

ArXiv: AI, 머신러닝, 컴퓨터 비전, 자연어 처리와 같은 컴퓨터 과학 연구에 대한 최신 논문을 공개하는 사이트입니다. 특히, RAG와 같은 최신 기술에 대한 논문을 쉽게 찾을 수 있습니다.

Semantic Scholar: AI 기반 학술 논문 검색 엔진으로, 논문 추천, 인용 수 분석, 관련 연구 자료 등을 효과적으로 제공합니다.

PubMed: 의학과 생물학 연구에 중점을 두고 있지만, AI와 관련된 일부 논문도 찾을 수 있습니다.