[4] 241104 Text Analysis, Frequency Analysis [Goorm All-In-One Pass! AI Project Master - 4th Session, Day 4]

241104 Mon 4th class

오늘 배운 것 중 기억할 것을 정리했다.

---

ChatGPT: 10-20퍼 가짜일 경우가 있다. 

1개만 사용X, 검색도 활용하기 

ChatGPT: 예전 지식을 가지고 알려준다. 

API Guide (GPTs)

1. 텍스트 생성 샘플 코드

from openai import OpenAI

# OpenAI API 클라이언트 초기화
client = OpenAI(api_key="YOUR_API_KEY")

# 채팅 모델을 사용한 텍스트 생성 요청
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Can you tell me about OpenAI's API?"}
    ]
)

# 응답 출력
print(response.choices[0].message.content)

2. 이미지 생성 샘플 코드

from openai import OpenAI

# OpenAI API 클라이언트 초기화
client = OpenAI(api_key="YOUR_API_KEY")

# 이미지 생성 요청
response = client.images.create(
    model="gpt-4o-mini",
    prompt="A futuristic cityscape with flying cars and neon lights",
    size="1024x1024",
    n=1  # 생성할 이미지 수
)

# 이미지 URL 출력
image_url = response.data[0].url
print(image_url)

3. 에러 핸들링 예시

from openai import OpenAI
import openai.error

client = OpenAI(api_key="YOUR_API_KEY")

try:
    # 텍스트 생성 요청
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Explain OpenAI API usage."}
        ]
    )
    print(response.choices[0].message.content)

except openai.error.OpenAIError as e:
    print("Error:", e)

gpt-4o 사용

기획 chatGPT, 코드 Claude

---

LLM 돈이 투입됨
이미지 회사 -> LLM 

쓸려고 하는 분야 (의료)

떠오르는 분야 -> 취업에 도움이 된다. 

GAN, 생성 AI -> 대세가 됨 

GAN(생성적 적대 신경망)은 두 개의 인공신경망인 생성자와 판별자로 구성된 딥러닝 아키텍처입니다. 생성자는 실제와 유사한 데이터를 생성하는 역할을 하며, 판별자는 생성된 데이터가 실제 데이터인지 여부를 판별합니다. 이 두 신경망은 서로 경쟁하며 함께 학습하게 됩니다.

흐름 캐치하기, 논문 따라가기, 돈이 흘러가는 곳 

유명한 사람 -> 빠르게 접해서 정보 전달 

연구소: Figma 강의 

이미지 분야

전문가 의견 들어보기 

---

만들고 보여주는 건 다 한다. 

사용해보고 더 심화, 평가 후 검증 중요 

한 달이 부족할 수도 있다. 

프로젝트 끝나고 한 달 정도 더 공부 -> 좋은 프로젝트가 나온다. 가치가 있다. 

하나를 하더라도 제대로 하는 것 -> 가치 올라감 

프로젝트 끝나고 한 달 후 연락해도 된다. 봐주세요 가능 

수업 중 Kaggle, 발표함,

수업 외에 혼자서 한 달 내내 함, 기업 6-7개 붙음, 골라서 감, 그 분야에 깊게 들어감 

또 다른 과정 듣기X (거의 초급, 중급이 많다.)

만든 프로젝트들이 비슷비슷하다. 시간 1-2년 지나도 프로젝트 수준은 비슷하다. 

오래 끌기X

프로젝트 업그레이드, 정리하기 

현업자도 못하는 걸 만들어낸다 -> 취업 

마음 급한 것X

감성 분석, 좀 더 들어가는 프로젝트 만든다. -> 눈에 갈 수 있다. 

실무 잘 하는 사람은 다 안다. 

계속 발전해나가야 한다. 과정 여러 개 들을 필요X (똑같은 과정이다.) 

모르는 데 모르는 거 하면 한 달 동안 결과X, 배운 건O, 잘못된 건X

깊게 들어간다. 

새로운 거 -> 실패 케이스O

Python 잘 하기

---

데이터 분석: 시각화 잘 하기 

강점을 살리는 분야, 지금까지 해왔던 분야로 진입한다.

초보자: 최소 2시간 복습 

---

---

파인 튜닝 모델 씀, A/B 테스트 

A/B 테스트는 두 가지 이상의 버전의 서비스를 비교하여 어떤 것이 더 나은 성과를 내는지를 판단하는 실험입니다. 이 과정에서 가급적이면 하나의 변수만 변경하여 점진적으로 개선점을 찾는 방식으로 진행됩니다. 주로 디지털 환경에서 사용되며, 사용자를 대조군과 실험군으로 나누어 비교 분석합니다.

VISION과 LLM 모두 큰 잠재력이 있지만, 각각의 장단점과 전망을 분석해보겠습니다:

LLM의 강점과 전망:

• 거의 모든 산업에서 활용 가능 (문서작성, 코딩, 고객서비스 등)
• 기존 비즈니스 프로세스에 쉽게 통합 가능
• 검증된 비즈니스 모델 존재 (ChatGPT, Claude 등)
• 학습 데이터 확보가 상대적으로 용이

VISION의 강점과 전망:

• 의료영상 분석, 자율주행, 보안/감시 등 특화된 분야에서 높은 가치
• 실시간 물체 인식과 처리 능력
• AR/VR과 결합하여 새로운 응용 분야 창출 가능
• 아직 개발/발전 여지가 많음

현재 상황:

• LLM이 더 광범위하게 활용되고 있음
• VISION은 특정 분야에서 더 깊은 혁신을 가져올 수 있음
• 두 기술의 결합(멀티모달 AI)이 향후 주목받을 것으로 예상

결론적으로, 둘을 비교하여 "더 좋다"고 하기는 어렵고, 각자의 영역에서 중요한 발전이 예상됩니다. 특히 두 기술의 결합이 가져올 시너지에 주목할 필요가 있습니다.

---

https://ldjwj.github.io/CLASS_PY_LIB_LEVELUP/00_%ED%85%8D%EC%8A%A4%ED%8A%B8%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B6%84%EC%84%9D%EA%B8%B0%EB%B3%B8%EB%B0%8F%ED%99%9C%EC%9A%A9_V10.pdf

https://gamma.app/

https://gamma.app/docs/-l42qil5qi2u7mh0

https://gamma.app/docs/-kq9s1nqizjdugrp?mode=doc

---

 

https://wordcloud.kr/

워드클라우드

https://skaisummit.com/session

 

---

정형 데이터는 고정된 형식을 가지며, 주로 표 형식의 데이터로 숫자, 짧은 텍스트, 날짜와 같은 이산형 데이터가 포함됩니다. 반면 비정형 데이터는 명확하게 정의된 구조가 없는 데이터로, 텍스트 문서, 이미지, 비디오, 오디오 파일 등이 이에 해당합니다. 비정형 데이터는 전체 데이터의 상당 부분을 차지하고 있으며, 다양한 형태로 존재합니다.

• 정형 데이터: 숫자, 표, 테이블 형태로 구조화된 데이터를 말합니다. 예를 들어, 엑셀 시트의 숫자 데이터, 데이터베이스 테이블 등은 정형 데이터의 예입니다.
• 비정형 데이터: 구조화되지 않은 데이터로, 음성, 그림, 동영상, 텍스트(예: 이메일, 문서) 등이 이에 해당합니다. 이러한 데이터는 일정한 형식 없이 다양한 형태로 존재하기 때문에 비정형 데이터로 분류됩니다.

 

정형 데이터(Structured Data):

• 숫자, 날짜
• 데이터베이스의 테이블 형태
• 엑셀 스프레드시트
• 명확한 규칙과 형식이 있는 데이터
• 예: 고객정보(나이, 성별, 주소 등), 거래내역, 기상데이터

반정형 데이터(Semi-structured Data):

• HTML, XML, JSON
• 이메일
• 어느 정도의 구조가 있지만 완전히 정형화되지 않은 데이터

비정형 데이터(Unstructured Data):

• 이미지, 사진
• 음성, 영상
• 텍스트 문서, SNS 게시글
• 정해진 형식이나 구조가 없는 자유로운 형태의 데이터
• 예: CCTV 영상, 고객 리뷰 텍스트, 전화 통화 녹음

 

---

텍스트 마이닝: 자연어 처리 기술을 기반, 문장 분석, 토큰화, 개체명 인식 

텍스트 표현 방식: 단어 빈도, TF-IDF, 워드 임베딩, 텍스트를 수치화하여 분석에 활용 

기계 학습 알고리즘: 텍스트 분류, 군집화, 토픽 모델링 등의 기계 학습 기법을 통해 텍스트 데이터에서 의미 있는 패턴을 발견할 수 있습니다.

시각화 기법: 분석 결과를 효과적으로 표현하기 위해 워드 클라우드, 히트맵, 트렌드 그래프 등의 시각화 기법을 활용합니다.

---

K-means 알고리즘은 비지도 학습의 일종으로, 데이터를 미리 정해진 K개의 클러스터로 묶는 클러스터링 알고리즘입니다. 이 알고리즘은 각 클러스터 내 데이터 포인트와 클러스터 센터 간의 거리를 최소화하는 방식으로 작업하며, 클러스터의 평균을 반복적으로 업데이트하여 가장 가까운 점들을 군집화합니다.

ex) 미니 프로젝트: 아는 것, 뉴스 기사 분석