AI 용어집 · 입문 · 언어 모델
토큰 Token
토큰은 AI 언어 모델이 글을 처리할 때 쓰는 가장 작은 단위 조각입니다. 단어 하나일 수도 있고, 단어의 일부나 글자 몇 개일 수도 있습니다.
쉽게 말하면 레고 블록으로 집을 짓듯, AI는 문장을 토큰이라는 블록으로 쪼개서 읽고 다시 블록을 이어 붙여 답을 만듭니다. 다만 블록의 크기가 언어나 단어에 따라 제각각이라는 점이 레고와 다릅니다.
어떻게 작동하나
AI에 글을 넣으면 먼저 '토크나이저'라는 도구가 글을 토큰으로 자릅니다. 자주 쓰이는 단어는 통째로 한 토큰이 되고, 드문 단어는 여러 토큰으로 나뉩니다. 각 토큰은 숫자로 바뀌어 모델에 들어가고, 모델은 다음 토큰을 하나씩 예측하며 답을 써 내려갑니다.
왜 중요한가
많은 AI 서비스는 사용한 토큰 수에 따라 요금을 매깁니다. 모델이 한 번에 읽을 수 있는 분량(컨텍스트 윈도)도 토큰 수로 정해집니다. 그래서 토큰을 이해하면 비용과 처리 가능한 문서 길이를 가늠할 수 있습니다.
알아 둘 점
같은 내용이라도 언어에 따라 필요한 토큰 수가 다를 수 있습니다. 일반적으로 영어보다 한국어 같은 언어가 더 많은 토큰으로 쪼개지는 경우가 많습니다. 또 모델마다 토크나이저가 달라서, 같은 글도 모델에 따라 토큰 수가 달라집니다.
예시
AI 서비스 요금표를 보면 '입력 토큰'과 '출력 토큰'의 가격이 따로 적혀 있는 경우가 많습니다. 이 사이트의 소식 중에도 새 API의 가격을 '100만 토큰당' 기준으로 소개한 사례가 있는데, 이처럼 토큰은 AI 사용량을 재는 기본 단위로 쓰입니다.
이 사이트에서 나온 사례
- 브리핑 OpenAI, 결정 전용 모델 'gpt-6-luna' 기반 'Decisions API' 출시…입력 100만 토큰당 0.1달러, 출력 무과금(커뮤니티 전언) 2026-10-07
- 논문 ALoDLM: 토큰마다 반복 깊이를 조절하는 루프형 확산 언어 모델 2026-10-07
- 브리핑 연구: 응답 시작 토큰 고정만으로 베이스 모델 추론 성능이 RL 모델 수준에 근접 2026-10-06