Токен — это минимальная единица текста, с которой работает языковая модель. Модель не видит буквы или слова напрямую — она разбивает текст на токены.
Примерные соотношения:
- Английский: 1 токен ≈ 4 символа или ¾ слова
- Русский: 1 токен ≈ 1-2 символа (кириллица требует больше токенов)
- Код: зависит от языка программирования
Токены важны потому что:
- Стоимость API считается за токены
- У моделей есть лимит контекста в токенах
- Больше токенов = дольше ответ
Примеры
- "Привет" = 2-3 токена
- "Hello" = 1 токен
- 1000 слов на русском ≈ 2000-2500 токенов
Попробуйте AI на практике
AITUNNEL даёт доступ к GPT-5, Claude, Gemini и другим моделям. Изучайте AI на практике, а не только в теории.
50+ моделейДокументацияПримеры кода
Начать работуРегистрация за 1 минуту