Tiktokenizer: 토크나이저가 텍스트를 토큰으로 쪼개는 법

토크나이저가 하는 일

LLM은 문장을 통째로 읽지 않습니다. 텍스트는 먼저 토크나이저(tokenizer)를 거쳐 토큰이라는 조각으로 나뉘고, 각 조각은 어휘 사전(vocabulary)의 정수 ID로 바뀝니다. 모델이 실제로 다루는 건 단어가 아니라 이 숫자들입니다. 위 도구에 문장을 입력하면 모델별 토크나이저가 어디에 경계를 긋는지, 토큰 수와 ID가 어떻게 달라지는지 실시간으로 확인할 수 있습니다.

왜 직접 만져봐야 하나

• 비용: LLM API는 토큰 단위로 과금합니다. 같은 내용이라도 토큰 수가 다르면 비용이 달라집니다.
• 컨텍스트 한도: 컨텍스트 윈도우는 글자 수가 아니라 토큰 수로 셉니다. 프롬프트가 몇 토큰인지 감이 있어야 한도 관리가 됩니다.
• 언어별 차이: 한국어는 영어보다 같은 의미를 표현하는 데 토큰이 더 드는 경향이 있습니다. 같은 문장을 한국어와 영어로 넣어 비교해 보세요.
• 모델별 차이: 모델마다 토크나이저가 달라 같은 문장도 토큰 수가 다릅니다. 드롭다운에서 모델을 바꿔가며 경계가 어떻게 달라지는지 관찰할 수 있습니다.

이어서 보기

토큰 수가 늘어나면 모델에 어떤 일이 생기는지는 이 시리즈의 다른 두 자료에서 다룹니다. 1편은 어텐션 비교 횟수가 N²으로 폭증해 주의력이 흩어지는 원리를, 2편은 컨텍스트 중간의 정보가 유실되는 Lost in the Middle 현상을 시각화로 설명합니다.