LLM 작동 원리

LLM이란?

LLM(Large Language Model)은 방대한 텍스트 데이터로 학습된 AI 모델입니다.

핵심 구성요소

1. 토큰화 (Tokenization)

텍스트를 작은 단위(토큰)로 분할합니다.

"안녕하세요" → ["안녕", "하세요"]

2. 임베딩 (Embedding)

토큰을 고차원 벡터로 변환합니다.

3. Transformer 아키텍처

• Self-Attention: 문맥 이해
• Feed-Forward: 정보 처리
• Layer Normalization: 안정적 학습

4. 다음 토큰 예측

확률 분포에서 다음 토큰을 샘플링합니다.