용어사전 목록으로
AI 기본 · 입문
토큰
AI 가 글자를 쪼개 처리하는 단위. 비용·한도의 기준.
한 줄 정의
AI 모델이 입력·출력을 처리할 때 텍스트를 잘게 나눈 단위. 영어 단어·한국어 음절·구두점 등이 토큰 1개 또는 여러 개에 해당.
초등학생도 이해할 비유
글자를 잘게 썰어 놓은 조각이라고 보면 돼요. 한국어는 보통 영어보다 토큰이 더 많이 듭니다 (한 글자가 2~3 토큰).
뉴스에서 어떻게 쓰이나요
“GPT-4o 가격 입력 토큰당 $0.0025” — 보낸 글자수만큼 비용 발생.
내 생활·투자·업무와 연결
AI 도구 결제 시 "메시지 한도" 또는 "토큰 한도" 가 토큰 기준. 긴 문서 분석은 토큰을 빠르게 소진.
자주 헷갈리는 개념
- 단어 와의 차이
단어 ≠ 토큰. 'unbelievable' 한 단어가 3~4 토큰일 수 있음.
- 음절 와의 차이
한국어 음절도 1~3 토큰. 정확한 환산은 OpenAI 토크나이저로 확인.
관련 용어
더 깊이 보기
자주 묻는 질문
Q. 한국어가 영어보다 비싸요?▾
보통 그렇습니다. 같은 의미라도 한국어 토큰이 더 많아서.