라이선스 고지

모델 토크나이저

• Qwen/Qwen3.8-27B — apache-2.0
• deepseek-ai/DeepSeek-V4.1-Flash — mit
• google/gemma-4-12B-it — apache-2.0
• mistralai/Ministral-3-8B-Instruct-2512 — apache-2.0
• LGAI-EXAONE/K-EXAONE-2.0-750B-A37B — apache-2.0 · NOTICE.txt
• skt/A.X-K2 — apache-2.0
• zai-org/GLM-5.3-Flash — mit

solar-pro3 토큰화에는 Upstage가 공개한 토크나이저를 씁니다. Upstage Solar License를 따르며 라이선스 사본을 토크나이저 파일과 함께 배포합니다.

배포하는 토크나이저 JSON은 고정된 업스트림 리비전의 원본입니다. 어휘·병합 순서·added token 순서·토큰 ID를 바꾸지 않았습니다.

Solar는 Upstage Co., Ltd.의 상표입니다. 이 사이트는 Upstage의 공식 제품이 아니며 후원·인증·제휴 관계가 없습니다.

• 원본 저장소: upstage/solar-pro3-tokenizer
• 라이선스 전문: Upstage Solar License
• 고지 원문: NOTICE.txt

기반 프로젝트

이 사이트는 dqbd의 Tiktokenizer를 포크해 만들었습니다. 저장소 자체도 원본에서 물려받은 MIT 라이선스를 따릅니다. 아래는 함께 배포하거나 직접 의존하는 자산의 라이선스입니다.

• @huggingface/tokenizers — Apache-2.0
• dqbd/tiktokenizer — MIT
• openai/tiktoken — MIT
• @huggingface/transformers — Apache-2.0