Токен
Минимальная единица текста, которую обрабатывает AI. Примерно 1 токен = 4 символа на английском или 1-2 символа на русском.
Токен — это минимальная единица текста, с которой работает языковая модель. Модель не видит буквы или слова напрямую — она разбивает текст на токены.
Примерные соотношения:
- Английский: 1 токен ≈ 4 символа или ¾ слова
- Русский: 1 токен ≈ 1-2 символа (кириллица требует больше токенов)
- Код: зависит от языка программирования
Токены важны потому что:
- Стоимость API считается за токены
- У моделей есть лимит контекста в токенах
- Больше токенов = дольше ответ
Примеры
- "Привет" = 2-3 токена
- "Hello" = 1 токен
- 1000 слов на русском ≈ 2000-2500 токенов
Попробуйте AI на практике
AITUNNEL даёт доступ к GPT-5, Claude, Gemini и другим моделям. Изучайте AI на практике, а не только в теории.
50+ моделейДокументацияПримеры кода
Начать работуРегистрация за 1 минуту