FAQ • llama-3.3-70b-instruct

Какая скорость ответа у llama-3.3-70b-instruct?

Подробный ответ на вопрос о llama-3.3-70b-instruct через AITUNNEL API

llama-3.3-70b-instruct

meta-llama
Контекст131 072 токенов
Вход23.04 ₽/1M
Выход57.60 ₽/1M

Ответ

Скорость ответа llama-3.3-70b-instruct зависит от нескольких факторов: размера запроса, параметра max_tokens, загруженности серверов meta-llama. В среднем первый токен приходит за 0.5–2 секунды, полный ответ на короткий запрос — за 2–10 секунд. Через AITUNNEL поддерживается streaming для получения ответа по частям в реальном времени.

Быстрый старт с llama-3.3-70b-instruct

Пример вызова llama-3.3-70b-instruct через AITUNNEL API:

from openai import OpenAI

client = OpenAI(
    api_key="ваш_ключ_aitunnel",
    base_url="https://api.aitunnel.ru/v1/"
)

response = client.chat.completions.create(
    model="llama-3.3-70b-instruct",
    messages=[
        {"role": "user", "content": "Привет! Как дела?"}
    ]
)

print(response.choices[0].message.content)

Другие вопросы о llama-3.3-70b-instruct

Этот же вопрос — другие модели

Попробуйте сами через AITUNNEL

Получите API ключ и протестируйте модели. Работает из России без VPN, оплата в рублях.

Быстрый стартОплата картой РФПоддержка
Начать работуРегистрация за 1 минуту