[1] 241030 Task: 토큰, 파라미터 [Goorm All-In-One Pass! AI Project Master 4기 1일]

Teacher: 복습하시는 분들을 위해 제가 공유한 notion에 실습하고 찾아볼 내용을 다음과 같이 추가해 두었습니다. 참고해 주세요.

https://platform.openai.com/tokenizer

---

토큰 

GPT 모델에서의 토큰(token)은 매우 간단한 개념이다. 일상 언어에서 우리가 사용하는 단어나 문장 부호와 같은 것을 생각하면 된다. GPT 모델에서는 이러한 단어나 문장 부호를 더 작은 단위로 쪼갠 것을 토큰이라고 부른다. 예를 들어, 영어에서 "cat"이라는 단어는 하나의 토큰으로 처리될 수 있지만, 더 긴 단어나 복잡한 문자는 여러 개의 토큰으로 나뉠 수 있다.

https://wikidocs.net/223125

입력 혹은 출력하는데 사용되는 텍스트 데이터 내 ‘의미를 가진 최소 말의 단위(형태소)’가 토큰

https://hildilid.tistory.com/26

---

파라미터 

머신러닝에서 파라미터란 모델이 데이터로부터 학습하는 값들을 말합니다. 예를 들어, 선형 회귀 모델에서의 가중치(weight)와 절편(bias), 또는 인공신경망에서의 가중치와 편향 등이 파라미터에 해당합니다. 이러한 파라미터들은 학습 데이터를 통해 업데이트되고, 모델의 예측을 결정하는 핵심 요소입니다.

반면에 하이퍼파라미터는 모델의 학습 방식을 결정하는 값들로, 사용자에 의해 미리 설정되며 학습 과정에서 자동으로 변경되지 않습니다. 예를 들어, 결정 트리의 최대 깊이, kNN의 이웃 수, 신경망의 학습률과 에포크 수 등이 하이퍼파라미터에 해당합니다.

https://mozenworld.tistory.com/entry/머신러닝-모델의-파라미터와-하이퍼파라미터