도구 · Tokenizer

Tiktokenizer: 토크나이저가 텍스트를 토큰으로 쪼개는 법

텍스트를 입력하면 모델별 토크나이저가 어떻게 토큰 경계를 긋는지 실시간으로 보여줍니다. 토큰 수·ID·임베딩까지 직접 만져보는 인터랙티브 도구.