1편 · 원인 (Mechanism)

토큰이 많아질수록 주의력이 흩어지는 이유

트랜스포머 어텐션은 토큰끼리 관계를 N²으로 계산합니다. 토큰이 많아질수록 주의력이 어떻게 희석되는지 시각적으로 체험합니다.