AI는 어떻게 텍스트를 생성하는가?

Next Token Prediction

📌 1. 핵심 원리

AI는 글을 미리 다 생각하고 쓰는 게 아님

AI는 문장을 미리 완성하지 않습니다.
대신 다음 단어를 확률적으로 하나씩 선택합니다.

👉 핵심: Next Token Prediction

📌 2. 간단한 예시

입력: 인공지능은

데이터를 （38%） 텍스트를 （27%） 패턴을 （18%）

👉 가장 높은 확률 선택 → 데이터

인공지능은 → 인공지능은 데이터를 → ...

📌 3. 생성 과정 입력 텍스트 분석 다음 단어 확률 계산 하나 선택 후 반복

👉 반복해서 문장이 만들어짐

📌 4. 중요한 특징

❗ 전체 문장을 미리 계획하지 않음
❗ 매 순간 다음 단어만 결정

👉 그래서 가끔 말이 어색함

📌 5. 개발 관점

System / User 구분은 API 개념이고,
실제로는 하나의 텍스트로 처리됩니다.

UserMessage: "너는 개발자야. 코드 리뷰해줘" → 내부: 하나의 텍스트 → 토큰 분해 → 다음 토큰 예측

요약: AI는 천재가 아니라 엄청 많이 공부한 자동완성기임 ㅋ