[9] 241111 ML, DL [Goorm All-In-One Pass! AI Project Master - 4th Session, Day 9]

241111 Mon 9th class

오늘 배운 것 중 기억할 것을 정리했다.

---

프로젝트 발표 

---

최신 모델 비교
RAG Lanchain

현실 디자인으로 적용 

파인튜닝 (성능 올림) 

---

프로젝트로 가능성을 보여준다. 

실무, 실질적인 것으로 공부 

얇은 책을 산다. 

모르면 노가다

성능 올리는 것 난이도 높음, 한계O

하나의 전문 분야 필요 

가고자하는 분야를 구체적으로 정하고, 전문가가 된다.

ex) 교육, 초중급에 맞추자, 계속 강의중 

기본을 모르고 하면X 

책을 1권 봐야한다. 맨날 LLM할 수는 X

빅데이터기사 

기본을 아는 사람과 모르는 사람의 차이가 크다 

AI 알고 활용하는 사람, 안 하는 사람 차이가 크다 

변화의 시기에 나의 역량을 키운다 

계속 공부, 발전시켜 나간다 -> 성장, 발전 

AI가 일자리 잃게 함
하지만 그 변화 속에서 AI 알고 이해하는 사람의 자리는 생긴다. 

준비 -> 시기 -> Try

변화의 시기, 더 큰 기회O

프로젝트 제안 가능 (수요일) 

---

https://github.com/LDJWJ/ML_Basic_Class

GitHub - LDJWJ/ML_Basic_Class

https://github.com/LDJWJ/DL_Basic

GitHub - LDJWJ/DL_Basic

---

https://rowan-sail-868.notion.site/0fc66cdf182c4e24be0dc0e09a91d5dc

머신러닝 초보 첫걸음 | Notion

https://colab.research.google.com/drive/1nEuXxqNNHSVMlE4-Y2syZjFZSifOonHm#scrollTo=rMLqPtwDixg7

Google Colab Notebook

https://ldjwj.github.io/ML_Basic_Class/part03_ml/part03_ch01_01_ml/ch01_01_ML%EC%9E%85%EB%AC%B8_v13_202404.pdf

---

인공지능 > 머신러닝 > 딥러닝 
딥러닝 사용 많이 됨, 커짐

---

개발 (나) -> 컬럼

target

공식 y=f(x)
x를 독립변수, y를 종속변수
Yes, in the context of machine learning, y is typically referred to as the target or label.

머신 러닝: y 값 예측
데이터 마이닝: y 값 예측에 영향 끼치는 것 궁금 

---

선형 회귀(線型回歸, 영어: linear regression)는 종속 변수 y와 한 개 이상의 독립 변수 (또는 설명 변수) X와의 선형 상관 관계를 모델링하는 회귀분석

y-tip = total_bill + size

---

x가 3개, 4차원, 초평면 

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import numpy as np

# Generate some example data
np.random.seed(0)
x1 = np.random.rand(50) * 10  # Random values for x1
x2 = np.random.rand(50) * 10  # Random values for x2
x3 = np.random.rand(50) * 10  # Random values for x3
y = x1 * 0.3 + x2 * 0.5 + x3 * 0.2  # Example relation for y

# Plotting the 3D space
fig = plt.figure(figsize=(10, 7))
ax = fig.add_subplot(111, projection='3d')
sc = ax.scatter(x1, x2, x3, c=y, cmap='viridis', s=50)

# Labeling the axes
ax.set_xlabel('X1')
ax.set_ylabel('X2')
ax.set_zlabel('X3')
plt.colorbar(sc, label="Y (Target Value)")

# Display the plot
plt.title("3D Space Representation with X1, X2, X3 and Y")
plt.show()

 

 

---

Label Encoding

• 각 고유한 문자 값을 숫자 값으로 매핑합니다. 예를 들어, ['male', 'female']을 각각 0과 1로 변환합니다.
• 카테고리형 데이터가 서열 관계가 있을 때 사용합니다.

from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
df['sex'] = encoder.fit_transform(df['sex'])  # 'male' -> 1, 'female' -> 0

One-Hot Encoding

• 각 카테고리 값마다 **별도의 열(column)**을 추가하고, 값이 있는 경우 1, 그렇지 않으면 0을 할당합니다.
• 예를 들어, ['Monday', 'Tuesday', 'Wednesday']는 각각의 요일을 열로 만들어 [1, 0, 0], [0, 1, 0], [0, 0, 1]처럼 표현합니다.
• 주로 서열이 없는 범주형 데이터에 사용됩니다.

import pandas as pd
df = pd.get_dummies(df, columns=['day'])

Embedding

• 텍스트와 같은 복잡한 데이터를 벡터로 표현하기 위해 사용됩니다. 각 단어나 문장을 고차원 벡터 공간의 숫자 형태로 변환합니다.
• 딥러닝에서 주로 사용하는 방식으로, 워드 임베딩(Word Embedding) 기법에는 Word2Vec, GloVe, BERT 등이 있습니다.

Ordinal Encoding

• 문자가 특정 순서나 크기를 표현할 때 사용합니다. 예를 들어, ['low', 'medium', 'high']를 [0, 1, 2]로 변환할 수 있습니다.

---

print( tips['sex'].unique() )
print( tips['smoker'].unique() )
print( tips['day'].unique() )
print( tips['time'].unique() )
print( tips['size'].unique() )

mapval = {'Female':0, 'Male':1}
tips['sex_mapped'] = tips['sex'].map(mapval)
tips

 

7-2 실습 2- smoker과 day를 변수에 추가해서 모델을 구축해 보기.

연속형, 범주형

 

데이터 특수성 설명할 수 있어야 함

---

https://rebro.kr/184

[머신러닝] K-최근접 이웃 회귀 (K-NN Regression) 개념 및 실습