AnythingLLM
Чат по документам и агенты на десктопе или в Docker. AITUNNEL подключается через провайдер Generic OpenAI для ответов и эмбеддингов.
AnythingLLM — приложение для работы с документами: загружаете PDF, DOCX, сайты или репозитории в рабочее пространство и задаёте вопросы по ним. Есть агенты с навыками и многопользовательский режим. Работает как десктоп-приложение и как сервер в Docker, интерфейс у них одинаковый.
Понадобятся AnythingLLM Desktop или Docker и ключ из панели. Один ключ подходит для всех полей: LLM, эмбеддинги, голос.
Здесь только настройка. Полное описание программы, все параметры и разбор ошибок — на странице AnythingLLM в каталоге инструментов.
Быстрый старт
Запуск в Docker
bashexport STORAGE_LOCATION=$HOME/anythingllm mkdir -p $STORAGE_LOCATION && touch "$STORAGE_LOCATION/.env" docker run -d -p 3001:3001 \ --cap-add SYS_ADMIN \ -v ${STORAGE_LOCATION}:/app/server/storage \ -v ${STORAGE_LOCATION}/.env:/app/server/.env \ -e STORAGE_DIR="/app/server/storage" \ mintplexlabs/anythingllmИнтерфейс откроется на
http://localhost:3001. В десктопной версии этот шаг не нужен.Модель для ответов
Settings → AI Providers → LLM, провайдер Generic OpenAI:
- Base URL:
https://api.aitunnel.ru/v1, без/chat/completions - API Key:
sk-aitunnel-xxx - Chat Model Name: выберите из загруженного списка или введите id, например
claude-sonnet-5.5 - Model context window: например
200000 - Max Tokens: например
8192. По умолчанию 1024, для развёрнутых ответов мало
- Base URL:
Модель эмбеддингов
Встроенная локальная модель бесплатна, но заметно слабее, особенно на русском. Settings → AI Providers → Embedder, провайдер Generic OpenAI:
- Base URL:
https://api.aitunnel.ru/v1 - Embedding Model:
text-embedding-3-small(илиqwen3-embedding-8b,text-embedding-3-large) - Max embedding chunk length:
8192 - API Key:
sk-aitunnel-xxx
- Base URL:
Документы
Создайте New Workspace, нажмите значок загрузки, добавьте файлы или ссылку и выберите Move to Workspace → Save and Embed. Источники покажутся под ответом.
Настройка через .env
Для сервера всё то же задаётся в .env, удобно для автоматического развёртывания:
LLM_PROVIDER="generic-openai"
GENERIC_OPEN_AI_BASE_PATH="https://api.aitunnel.ru/v1"
GENERIC_OPEN_AI_API_KEY="sk-aitunnel-xxx"
GENERIC_OPEN_AI_MODEL_PREF="claude-sonnet-5.5"
GENERIC_OPEN_AI_MODEL_TOKEN_LIMIT=200000
GENERIC_OPEN_AI_MAX_TOKENS=8192
EMBEDDING_ENGINE="generic-openai"
EMBEDDING_BASE_PATH="https://api.aitunnel.ru/v1"
EMBEDDING_MODEL_PREF="text-embedding-3-small"
EMBEDDING_MODEL_MAX_CHUNK_LENGTH=8192
GENERIC_OPEN_AI_EMBEDDING_API_KEY="sk-aitunnel-xxx"Модели
У каждого пространства может быть своя модель: шестерёнка пространства → Chat Settings → Workspace LLM Provider. Для агентов (@agent в чате) нужна модель с tool calling, её выбирают в Agent Configuration → Workspace Agent LLM Provider.
| Задача | Модель |
|---|---|
| Юридические документы, максимальная точность | claude-opus-5.5 |
| Техническая документация | claude-sonnet-5.5 |
| База знаний поддержки | gemini-3.8-flash |
| Внутренний FAQ для всех | deepseek-v4.1-flash, gpt-6-luna |
| Агенты | claude-sonnet-5.5, gpt-6.1-terra, gemini-3.8-flash |
Устранение неполадок
Ответы обрываются на полуслове
Увеличьте Max Tokens в настройках Generic OpenAI, по умолчанию там 1024.
«Could not respond to message» или 404
Base URL — https://api.aitunnel.ru/v1, без /chat/completions на конце.
Поиск по документам перестал работать
Скорее всего, сменилась модель эмбеддингов: старые векторы с новой несовместимы. Удалите документы из пространства и загрузите заново. Если менялся ключ, проверьте, что он обновлён и в Embedder.