Токенайзер для GPT-5, GPT-4o и o1 — посчитать токены онлайн

Что такое токены и как они считаются

Токен — это минимальная единица текста, с которой работает языковая модель. Перед тем как нейросеть обрабатывает ваш запрос, он разбивается на токены с помощью специального алгоритма — токенайзера. Один токен может быть целым словом, частью слова, отдельным символом или даже пробелом.

В моделях OpenAI используется алгоритм Byte Pair Encoding (BPE). Он строит словарь из самых частых последовательностей символов в обучающих данных. Чем чаще встречается слово или его часть, тем больше шанс, что оно станет одним токеном.

Энкодер o200k_base — современный токенайзер OpenAI

o200k_base — это новейший токенайзер OpenAI с размером словаря ≈ 200 000 токенов. Он пришёл на смену устаревшему cl100k_base (≈ 100 000 токенов, использовался в GPT-4 и GPT-3.5) и существенно лучше работает с неанглийскими языками, включая русский.

Этот же энкодер используется во всех актуальных моделях OpenAI, поэтому количество токенов, посчитанное нашим калькулятором, будет одинаковым для любой из этих моделей — отличается только цена:

• GPT-5, GPT-5 Pro, GPT-5 Mini, GPT-5 Nano, GPT-5 Codex
• GPT-4o, GPT-4o-mini, GPT-4o-audio, ChatGPT-4o
• GPT-4.1, GPT-4.1 Mini, GPT-4.1 Nano, GPT-4.5
• o1, o1-pro, o1-mini, o3, o3-mini, o3-pro, o4-mini — reasoning-модели
• Эмбеддинги: text-embedding-3-small и text-embedding-3-large

Для других моделей (Claude, Gemini, DeepSeek) счёт токенов через o200k_base даёт приближённое значение — обычно в пределах 5–15% от фактического.

Сколько токенов в русском тексте

Русский язык исторически плохо токенизировался в моделях OpenAI — каждая буква могла превращаться в отдельный токен. В новом энкодере o200k_base ситуация значительно улучшилась, но русский текст всё равно требует больше токенов, чем эквивалентный английский.

Приблизительные ориентиры для русского текста на o200k_base:

Совет: если вам важна экономия, используйте более простые слова и избегайте редких терминов. Также можно писать на английском — это часто сокращает расход токенов в 1.5–2 раза.

Как считать стоимость запроса

Стоимость одного запроса к языковой модели складывается из двух частей — токенов входа (промпт) и токенов выхода (ответ). Цены указываются за 1 миллион токенов.

Формула расчёта:

стоимость = (входные_токены / 1 000 000) × цена_входа
          + (выходные_токены / 1 000 000) × цена_выхода

Например, для GPT-5 с ценой 100₽ за 1M входных и 800₽ за 1M выходных токенов запрос с 1 000 токенов промпта и 500 токенов ответа обойдётся в: (1 000 / 1 000 000) × 100 + (500 / 1 000 000) × 800 = 0.10 + 0.40 = 0.50₽.

Используйте калькулятор выше, чтобы подставить любую модель из каталога AITUNNEL и получить точную стоимость за запрос в рублях.

Точный подсчёт токенов через API

Самый точный способ узнать число токенов для конкретной модели — отправить запрос и посмотреть поле usage в ответе. API AITUNNEL полностью совместим с OpenAI SDK и возвращает usage для каждого запроса:

{
  "id": "chatcmpl-...",
  "object": "chat.completion",
  "model": "gpt-5",
  "choices": [...],
  "usage": {
    "prompt_tokens": 1024,
    "completion_tokens": 512,
    "total_tokens": 1536
  }
}

Это значение гарантированно соответствует тарификации. Если вы используете другие модели (Claude, Gemini, DeepSeek) с их собственными токенайзерами — usage от API будет точнее локального подсчёта.