Streaming — режим работы API, при котором ответ модели передаётся токен за токеном в реальном времени.
Преимущества streaming:
- Мгновенная обратная связь для пользователя
- Не нужно ждать полной генерации
- Можно прервать генерацию
- Лучший UX в чат-интерфейсах
Как использовать:
python
response = client.chat.completions.create(
model="gpt-5",
messages=[...],
stream=True # Включить streaming
)
for chunk in response:
print(chunk.choices[0].delta.content)Примеры
- ChatGPT использует streaming для вывода текста
- Streaming улучшает восприятие скорости
Попробуйте AI на практике
AITUNNEL даёт доступ к GPT-5, Claude, Gemini и другим моделям. Изучайте AI на практике, а не только в теории.
50+ моделейДокументацияПримеры кода
Начать работуРегистрация за 1 минуту