Модели

Выбор провайдера

Одна и та же модель часто крутится у нескольких провайдеров: цена, скорость и задержка у них разные. По умолчанию AITUNNEL выбирает провайдера автоматически — по загруженности. В запросе можно попросить самый дешёвый, самый быстрый или с минимальной задержкой.

На странице модели это видно как диапазон цены. В каталоге указана минимальная ставка; без сортировки запрос может уйти к более загруженному и более дорогому провайдеру.

Как задать

Объект provider в теле запроса, поле sort.

curl https://api.aitunnel.ru/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-aitunnel-xxx" \
  -d '{
    "model": "claude-sonnet-4.5",
    "provider": { "sort": "price" },
    "messages": [
      { "role": "user", "content": "Скажи интересный факт" }
    ]
  }'

Работает в /chat/completions, /responses и /messages. То же самое можно сохранить в пресете — клиенту тогда не нужно передавать provider в каждом запросе.

Официальные SDK не знают про provider

Поле provider не входит в стандарт OpenAI: в Python передавайте через extra_body, в TypeScript — с @ts-expect-error. На cURL и любых «сырых» HTTP-клиентах ограничений нет.

Значения sort

Значение	Что выбираем
`price`	Самый дешёвый провайдер
`throughput`	Самый высокий throughput (токенов в секунду)
`latency`	Самая низкая задержка до первого токена

Пока sort не задан, действует балансировка по загруженности: не обязательно самый дешёвый и не обязательно самый быстрый.

Если задать sort, балансировка по нагрузке выключается — провайдеры пробуются в порядке выбранного критерия.

Когда это нужно

Пакетные задачи, где важна стоимость — price
Чат, где пользователь ждёт ответ — latency или throughput
Модель с диапазоном цены в каталоге

Списание идёт по фактически выбранному провайдеру. Именно поэтому на странице модели может быть «от — до».

Вместе с запасными моделями

provider.sort выбирает провайдера внутри одной модели. Массив models переключает на другую модель, если текущая не ответила. Это разные уровни: их можно сочетать. См. Запасные модели.