AnythingLLM — чат по документам и агенты без VPN
AnythingLLM — приложение для чата с документами и AI-агентами, подключённое к AITUNNEL
AnythingLLM — приложение для работы с документами через AI: загружаете PDF, DOCX, сайты или репозитории в рабочее пространство и задаёте вопросы по ним. Есть агенты с навыками (веб-поиск, сохранение файлов, SQL), встроенный чат-виджет для сайта и многопользовательский режим. Работает как десктоп-приложение и как сервер в Docker. AITUNNEL подключается через провайдер Generic OpenAI — и для генерации ответов, и для эмбеддингов.
API-ключ для AnythingLLM
AnythingLLM обращается к моделям через API-ключ. Ключ AITUNNEL вида sk-aitunnel-... один для всех моделей из каталога: чтобы перейти с Claude на GPT или DeepSeek, достаточно сменить id модели.
- Зарегистрируйтесь на aitunnel.ru и пополните баланс (от 500₽).
- Откройте Ключи, нажмите «Новый», задайте имя и нажмите «Создать ключ».
- Скопируйте ключ. Его можно показать повторно в любой момент.
В AnythingLLM ключ вводится отдельно для каждой роли: модель ответов (LLM), модель эмбеддингов и, если нужен, голос. Во всех этих полях подходит один и тот же ключ AITUNNEL. В серверной версии им соответствуют переменные GENERIC_OPEN_AI_API_KEY и GENERIC_OPEN_AI_EMBEDDING_API_KEY.
При смене ключа обновите его во всех полях. Если забыть про эмбеддинги, чат продолжит работать, а загрузка новых документов начнёт падать. В многопользовательском режиме ключ видит только администратор.
Бюджет, ограничения по моделям и IP, сброс ключа — в документации по ключам.
Что понадобится
- AnythingLLM Desktop (anythingllm.com) или Docker
- Ключ AITUNNEL
sk-aitunnel-...из личного кабинета - Положительный баланс (от 500₽)
Установка через Docker
export STORAGE_LOCATION=$HOME/anythingllm
mkdir -p $STORAGE_LOCATION && touch "$STORAGE_LOCATION/.env"
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllmИнтерфейс откроется на http://localhost:3001. Интерфейс десктопной версии такой же.
Шаг 1: модель для ответов
- Settings → AI Providers → LLM.
- Провайдер: Generic OpenAI.
- Заполните:
- Base URL: https://api.aitunnel.ru/v1 — без /chat/completions - API Key: sk-aitunnel-xxx - Chat Model Name: AnythingLLM загрузит список моделей AITUNNEL — выберите claude-sonnet-5.5 или введите id вручную - Model context window: размер контекста модели, например 200000 - Max Tokens: длина ответа, например 8192. По умолчанию стоит 1024 — для развёрнутых ответов этого мало
- Сохраните.
Встроенный провайдер OpenAI для AITUNNEL не подходит: в нём нельзя поменять адрес сервера. Используйте именно Generic OpenAI.
Шаг 2: модель эмбеддингов
Эмбеддинги превращают документы в векторы для поиска. По умолчанию AnythingLLM использует встроенную локальную модель — она бесплатна, но заметно уступает в качестве, особенно на русском языке.
- Settings → AI Providers → Embedder.
- Провайдер: Generic OpenAI.
- Заполните:
- Base URL: https://api.aitunnel.ru/v1 - Embedding Model: text-embedding-3-small (или qwen3-embedding-8b, text-embedding-3-large) - Max embedding chunk length: 8192 - API Key: sk-aitunnel-xxx
- Сохраните.
> Смена модели эмбеддингов делает старые векторы несовместимыми. Если в рабочих пространствах уже есть документы, удалите их и загрузите заново.
Шаг 3: рабочее пространство и документы
- Создайте рабочее пространство (New Workspace).
- Нажмите значок загрузки, добавьте файлы или ссылку на сайт и нажмите Move to Workspace → Save and Embed.
- Задавайте вопросы — AnythingLLM найдёт релевантные фрагменты и покажет источники под ответом.
Разные модели для разных пространств
У каждого рабочего пространства может быть своя модель: настройки пространства (шестерёнка) → Chat Settings → Workspace LLM Provider. Например:
| Пространство | Модель |
|---|---|
| Юридические документы | claude-opus-5.5 — максимальная точность |
| База знаний поддержки | gemini-3.8-flash — быстро и дёшево |
| Техническая документация | claude-sonnet-5.5 |
| Внутренний FAQ для всех | deepseek-v4.1-flash или gpt-6-luna |
Опция Show workspace LLM Selector в тех же настройках позволяет переключать модель прямо в чате.
Агенты
Агент вызывается в чате через @agent: он может искать в интернете, читать страницы, сохранять файлы, строить графики и работать с SQL.
- Settings → Agent Skills — включите нужные навыки.
- Настройки пространства → Agent Configuration → Workspace Agent LLM Provider — выберите Generic OpenAI и модель с поддержкой tool calling:
claude-sonnet-5.5,gpt-6.1-terra,gemini-3.8-flash. - В чате напишите
@agent найди свежие новости о ... и сделай сводку.
Generic OpenAI использует нативный tool calling. Если модель плохо с ним справляется, можно переключить на вызов инструментов через промпт переменной PROVIDER_DISABLE_NATIVE_TOOL_CALLING="generic-openai".
Голос
Для сервера в Docker голосовые функции настраиваются в .env:
# Озвучка ответов
TTS_PROVIDER="generic-openai"
TTS_OPEN_AI_COMPATIBLE_ENDPOINT="https://api.aitunnel.ru/v1"
TTS_OPEN_AI_COMPATIBLE_KEY="sk-aitunnel-xxx"
TTS_OPEN_AI_COMPATIBLE_MODEL="gpt-4o-mini-tts"
TTS_OPEN_AI_COMPATIBLE_VOICE_MODEL="nova"
# Расшифровка аудио и видео при загрузке
WHISPER_PROVIDER="generic-openai"
WHISPER_GENERIC_OPEN_AI_BASE_URL="https://api.aitunnel.ru/v1"
WHISPER_GENERIC_OPEN_AI_API_KEY="sk-aitunnel-xxx"
WHISPER_GENERIC_OPEN_AI_MODEL="whisper-1"Настройка через переменные окружения
Всё то же самое можно задать в .env сервера — удобно для автоматического развёртывания:
LLM_PROVIDER="generic-openai"
GENERIC_OPEN_AI_BASE_PATH="https://api.aitunnel.ru/v1"
GENERIC_OPEN_AI_API_KEY="sk-aitunnel-xxx"
GENERIC_OPEN_AI_MODEL_PREF="claude-sonnet-5.5"
GENERIC_OPEN_AI_MODEL_TOKEN_LIMIT=200000
GENERIC_OPEN_AI_MAX_TOKENS=8192
EMBEDDING_ENGINE="generic-openai"
EMBEDDING_BASE_PATH="https://api.aitunnel.ru/v1"
EMBEDDING_MODEL_PREF="text-embedding-3-small"
EMBEDDING_MODEL_MAX_CHUNK_LENGTH=8192
GENERIC_OPEN_AI_EMBEDDING_API_KEY="sk-aitunnel-xxx"Устранение неполадок
Ответы обрываются на полуслове
Увеличьте Max Tokens в настройках Generic OpenAI — по умолчанию там 1024.
«Could not respond to message» / 404
Base URL должен быть https://api.aitunnel.ru/v1, без /chat/completions на конце.
Поиск по документам перестал работать
Скорее всего, сменили модель эмбеддингов. Удалите документы из пространства и загрузите заново.
Агент не вызывает навыки
Выберите для агента модель с tool calling и проверьте, что навыки включены в Settings → Agent Skills.
Почему это выгодно
- Без VPN — российский endpoint
api.aitunnel.ru - Чат, эмбеддинги и голос по одному ключу
- Разные модели для разных пространств — под задачу и бюджет
- Оплата в рублях — карты МИР, СБП, от 500₽, для бизнеса — по счёту
Ключевые возможности
- Один API-ключ AITUNNEL на все модели
- Провайдер Generic OpenAI для LLM и эмбеддингов
- Своя модель для каждого рабочего пространства
- Агенты с навыками через @agent
- Озвучка и расшифровка аудио
- Десктоп и Docker с одинаковым интерфейсом
- Оплата в рублях, без VPN
Подключите этот инструмент через AITUNNEL
Все инструменты и модели доступны через единый API. Работает из России, оплата в рублях.