Lab
복잡한 기술을 눈으로 이해하는 실험실
글로 읽어서는 와닿지 않는 기술이 있습니다. 랩은 LLM이 동작하는 근본 원리를 인터랙티브 시각화로 풀어내고, 토크나이저처럼 직접 실험해볼 수 있는 도구를 함께 제공합니다. AI와 블록체인처럼 어렵게 느껴지는 기술을 누구나 직접 만져보며 이해할 수 있도록 콘텐츠를 계속 추가할 예정입니다.
공유
↓
왜 어텐션이 희석되는지(1편) 이해한 뒤 그 결과로 어떤 실무 함정이 생기는지(2편) 확인하세요. 토크나이저는 언제든 바로 실험해볼 수 있는 독립 도구입니다.
1편 · 원인 (Mechanism)
토큰이 많아질수록 주의력이 흩어지는 이유
트랜스포머 어텐션은 토큰끼리 관계를 N²으로 계산합니다. 토큰이 많아질수록 주의력이 어떻게 희석되는지 시각적으로 체험합니다.
Attention · N² Scaling
2편 · 현상 (Consequence)
Lost in the Middle: 위치 기반 정확도 곡선
Lost in the Middle('중간 손실')은 대화가 길어질수록 LLM이 처음에 준 지시를 잊는 현상입니다. 그 이유를 위치별 정확도 곡선으로 알아봅니다.
Position Bias · Smart Zone
도구 · Tokenizer
Tiktokenizer: 토크나이저가 텍스트를 토큰으로 쪼개는 법
텍스트를 입력하면 모델별 토크나이저가 어떻게 토큰 경계를 긋는지 실시간으로 보여줍니다. 토큰 수·ID·임베딩까지 직접 만져보는 인터랙티브 도구.
Tokenization · Interactive