Dify — LLM-приложения, агенты и RAG без VPN
Dify — платформа для LLM-приложений, агентов и RAG-пайплайнов на моделях AITUNNEL
Dify — open-source платформа для сборки LLM-приложений без кода: чат-боты, агенты с инструментами, workflow с ветвлениями и базы знаний (RAG). Готовое приложение публикуется как веб-чат, виджет или API. AITUNNEL подключается к Dify через официальный плагин OpenAI-API-compatible и закрывает все типы моделей: LLM, эмбеддинги, реранкер, распознавание и синтез речи.
API-ключ для Dify
Dify обращается к моделям через API-ключ. Ключ AITUNNEL вида sk-aitunnel-... один для всех моделей из каталога: чтобы перейти с Claude на GPT или DeepSeek, достаточно сменить id модели.
- Зарегистрируйтесь на aitunnel.ru и пополните баланс (от 500₽).
- Откройте Ключи, нажмите «Новый», задайте имя и нажмите «Создать ключ».
- Скопируйте ключ. Его можно показать повторно в любой момент.
В плагине OpenAI-API-compatible ключ вводится в каждую модель отдельно: для LLM, эмбеддингов, реранкера и голоса. Во всех подходит один ключ AITUNNEL. Dify хранит ключи провайдеров в базе в зашифрованном виде, так что в экспорт DSL приложения они не попадают.
Если публикуете приложение наружу как веб-чат или API, заведите для него отдельный ключ с бюджетом. Тогда нагрузка от посторонних пользователей не выйдет за лимит и не затронет другие проекты.
Бюджет, ограничения по моделям и IP, сброс ключа — в документации по ключам.
Что понадобится
- Dify Cloud (cloud.dify.ai) или self-hosted Dify в Docker
- Ключ AITUNNEL
sk-aitunnel-...из личного кабинета - Положительный баланс (от 500₽)
- Роль владельца или администратора рабочего пространства — только они управляют провайдерами
Установка self-hosted
git clone https://github.com/langgenius/dify.git --depth 1
cd dify/docker
cp .env.example .env
docker compose up -dНужен Docker Compose 2.35 или новее. Откройте http://localhost/install и создайте аккаунт администратора. Если порт 80 занят, поменяйте EXPOSE_NGINX_PORT в .env. Если в .env.example вашей версии есть обязательные токены (например, DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN), сгенерируйте их командой openssl rand -hex 32.
Шаг 1: установите плагин
- Откройте Integrations → Model Provider (в старых версиях: аватар → Settings → Model Provider).
- Найдите в Marketplace плагин OpenAI-API-compatible от langgenius и нажмите Install.
Шаг 2: добавьте LLM
На карточке плагина нажмите Add Model и заполните:
| Поле | Значение |
|---|---|
| Model Type | LLM |
| Model Name | claude-sonnet-5.5 — точный id из каталога |
| Model display name | Claude Sonnet 5.5 (AITUNNEL) |
| API Key | sk-aitunnel-xxx |
| API endpoint URL | https://api.aitunnel.ru/v1 |
| Completion mode | Chat |
| Model context size | 200000 |
| Upper bound for max tokens | 32000 |
| Function calling | Tool Call |
| Vision Support | Support — для Claude, GPT, Gemini, Kimi |
| Delimiter for streaming results | \n\n (по умолчанию) |
Нажмите Save. Dify отправит проверочный запрос. Повторите для каждой нужной модели. Минимальный набор:
| Модель | Function calling | Vision | Для чего |
|---|---|---|---|
claude-sonnet-5.5 | Tool Call | Да | Агенты, сложные workflow |
gpt-6.1-terra | Tool Call | Да | Универсальная модель |
gemini-3.8-flash | Tool Call | Да | Быстрые ответы, длинные документы |
deepseek-v4.1-flash | Tool Call | Да | Массовые запросы за копейки |
gpt-6-luna | Tool Call | Да | Классификация, извлечение данных, служебные узлы |
Function calling = Tool Call обязателен для агентов: без него Dify переключает агента в режим ReAct, где инструменты вызываются через текст, — это медленнее и менее надёжно.
Шаг 3: эмбеддинги и реранкер
Для базы знаний добавьте ещё две модели через тот же Add Model:
Эмбеддинги:
- Model Type: Text Embedding
- Model Name:
text-embedding-3-small(илиqwen3-embedding-8bдля русскоязычных документов) - API endpoint URL:
https://api.aitunnel.ru/v1 - Model context size:
8192 - Embedding encoding format:
float
Реранкер:
- Model Type: Rerank
- Model Name:
rerank-5-fast(илиrerank-5-pro) - API endpoint URL:
https://api.aitunnel.ru/v1— плагин сам добавит/rerank - Model context size:
8192
В README плагина встречается совет убирать /v1 для не-LLM моделей. Для AITUNNEL это не нужно: адрес https://api.aitunnel.ru/v1 одинаков для всех типов моделей.
Шаг 4: голос (по желанию)
Распознавание речи:
- Model Type: Speech2text
- Model Name:
gpt-4o-transcribeилиwhisper-1 - API endpoint URL:
https://api.aitunnel.ru/v1
Синтез речи:
- Model Type: TTS
- Model Name:
gpt-4o-mini-tts - API endpoint URL:
https://api.aitunnel.ru/v1 - Available Voices:
alloy,nova,onyx,shimmer
Шаг 5: модели по умолчанию
Кнопка Default Models (раньше — System Model Settings) в правом верхнем углу страницы провайдеров:
- System Reasoning Model:
gpt-6-luna— генерирует названия диалогов и подсказки. Дорогая модель здесь не нужна - Embedding Model:
text-embedding-3-small - Rerank Model:
rerank-5-fast - Speech-to-Text Model:
gpt-4o-transcribe - Text-to-Speech Model:
gpt-4o-mini-tts
Если модель по умолчанию не выбрана, соответствующая функция падает с ошибкой.
База знаний
- Knowledge → Create Knowledge → загрузите документы.
- Index Method: High Quality — использует модель эмбеддингов AITUNNEL.
- Retrieval Setting: Hybrid Search или Vector Search, включите Rerank Model →
rerank-5-fast. - Подключите базу знаний к приложению в блоке Context (чат-бот) или узлом Knowledge Retrieval (workflow).
Связка эмбеддинги + реранкер даёт заметно более точные ответы, чем один векторный поиск, а стоит копейки.
Агенты и workflow
- Agent: создайте приложение типа Agent, выберите модель с Function calling = Tool Call и добавьте инструменты из Marketplace (поиск, HTTP-запросы, код).
- Workflow / Chatflow: в каждом узле LLM можно выбрать свою модель. Простые узлы (классификация, извлечение полей) — на
gpt-6-lunaилиdeepseek-v4.1-flash, финальный ответ — наclaude-sonnet-5.5. Так стоимость прогона падает в разы.
Устранение неполадок
Ошибка при сохранении модели
- API endpoint URL —
https://api.aitunnel.ru/v1, без/chat/completions - Проверьте ключ и баланс в личном кабинете
- Model Name должен совпадать с id в каталоге посимвольно
Ошибка из-за поля user
Если модель возвращает ошибку о параметре user, выставьте в настройках модели User Identity Support = Not Support.
Self-hosted Dify не достучался до api.aitunnel.ru
Контейнеры Dify должны иметь исходящий доступ в интернет по HTTPS. Встроенный SSRF-прокси блокирует только частные сети, публичный api.aitunnel.ru он пропускает. Если сервер за корпоративным прокси или файрволом, откройте для контейнеров выход на api.aitunnel.ru:443.
Плагин долго устанавливается или падает по таймауту
Плагин при установке скачивает Python-зависимости. Если PyPI доступен медленно, укажите зеркало в PIP_MIRROR_URL и увеличьте PLUGIN_PYTHON_ENV_INIT_TIMEOUT в .env.
Агент не вызывает инструменты
Проверьте, что у модели Function calling = Tool Call, и выберите модель, которая поддерживает инструменты.
Почему это выгодно
- Без VPN — self-hosted Dify в России ходит на
api.aitunnel.ruнапрямую - Все типы моделей в одном провайдере — LLM, эмбеддинги, реранкер, голос
- Разные модели для узлов workflow — платите флагману только там, где он нужен
- Для бизнеса — оплата по счёту, закрывающие документы через ЭДО
Ключевые возможности
- Один API-ключ AITUNNEL на все модели
- Официальный плагин OpenAI-API-compatible
- LLM, эмбеддинги, реранкер, STT и TTS через один ключ
- Агенты с нативным tool calling
- База знаний High Quality с реранкером
- Своя модель для каждого узла workflow
- Self-hosted и Dify Cloud
Подключите этот инструмент через AITUNNEL
Все инструменты и модели доступны через единый API. Работает из России, оплата в рублях.