Lab
LLM 내부를 들여다보는 시각화 자료
컨텍스트와 토큰을 직접 만져보며 직관을 키우는 인터랙티브 자료 모음입니다.
공유
↓
왜 어텐션이 희석되는지(1편) 이해한 뒤 그 결과로 어떤 실무 함정이 생기는지(2편) 확인하세요. 토크나이저는 언제든 바로 실험해볼 수 있는 독립 도구입니다.
1편 · 원인 (Mechanism)
토큰이 많아질수록 주의력이 흩어지는 이유
트랜스포머 어텐션은 토큰끼리 관계를 N²으로 계산합니다. 토큰이 많아질수록 주의력이 어떻게 희석되는지 시각적으로 체험합니다.
Attention · N² Scaling
2편 · 현상 (Consequence)
Lost in the Middle: 위치 기반 정확도 곡선
대화가 길어지면 LLM이 왜 처음에 준 지시를 잊는지, 그 이유를 위치별 정확도 곡선으로 알아봅니다.
Position Bias · Smart Zone
도구 · Tokenizer
Tiktokenizer: 토크나이저가 텍스트를 토큰으로 쪼개는 법
텍스트를 입력하면 모델별 토크나이저가 어떻게 토큰 경계를 긋는지 실시간으로 보여줍니다. 토큰 수·ID·임베딩까지 직접 만져보는 인터랙티브 도구.
Tokenization · Interactive