AnythingLLM

Чат по документам и агенты на десктопе или в Docker. AITUNNEL подключается через провайдер Generic OpenAI для ответов и эмбеддингов.

AnythingLLM — приложение для работы с документами: загружаете PDF, DOCX, сайты или репозитории в рабочее пространство и задаёте вопросы по ним. Есть агенты с навыками и многопользовательский режим. Работает как десктоп-приложение и как сервер в Docker, интерфейс у них одинаковый.

Понадобятся AnythingLLM Desktop или Docker и ключ из панели. Один ключ подходит для всех полей: LLM, эмбеддинги, голос.

Здесь только настройка. Полное описание программы, все параметры и разбор ошибок — на странице AnythingLLM в каталоге инструментов.

Быстрый старт

  1. Запуск в Docker

    bash
    export STORAGE_LOCATION=$HOME/anythingllm
    mkdir -p $STORAGE_LOCATION && touch "$STORAGE_LOCATION/.env"
    
    docker run -d -p 3001:3001 \
      --cap-add SYS_ADMIN \
      -v ${STORAGE_LOCATION}:/app/server/storage \
      -v ${STORAGE_LOCATION}/.env:/app/server/.env \
      -e STORAGE_DIR="/app/server/storage" \
      mintplexlabs/anythingllm

    Интерфейс откроется на http://localhost:3001. В десктопной версии этот шаг не нужен.

  2. Модель для ответов

    Settings → AI Providers → LLM, провайдер Generic OpenAI:

    • Base URL: https://api.aitunnel.ru/v1, без /chat/completions
    • API Key: sk-aitunnel-xxx
    • Chat Model Name: выберите из загруженного списка или введите id, например claude-sonnet-5.5
    • Model context window: например 200000
    • Max Tokens: например 8192. По умолчанию 1024, для развёрнутых ответов мало
  3. Модель эмбеддингов

    Встроенная локальная модель бесплатна, но заметно слабее, особенно на русском. Settings → AI Providers → Embedder, провайдер Generic OpenAI:

    • Base URL: https://api.aitunnel.ru/v1
    • Embedding Model: text-embedding-3-small (или qwen3-embedding-8b, text-embedding-3-large)
    • Max embedding chunk length: 8192
    • API Key: sk-aitunnel-xxx
  4. Документы

    Создайте New Workspace, нажмите значок загрузки, добавьте файлы или ссылку и выберите Move to Workspace → Save and Embed. Источники покажутся под ответом.

Настройка через .env

Для сервера всё то же задаётся в .env, удобно для автоматического развёртывания:

.env
LLM_PROVIDER="generic-openai"
GENERIC_OPEN_AI_BASE_PATH="https://api.aitunnel.ru/v1"
GENERIC_OPEN_AI_API_KEY="sk-aitunnel-xxx"
GENERIC_OPEN_AI_MODEL_PREF="claude-sonnet-5.5"
GENERIC_OPEN_AI_MODEL_TOKEN_LIMIT=200000
GENERIC_OPEN_AI_MAX_TOKENS=8192

EMBEDDING_ENGINE="generic-openai"
EMBEDDING_BASE_PATH="https://api.aitunnel.ru/v1"
EMBEDDING_MODEL_PREF="text-embedding-3-small"
EMBEDDING_MODEL_MAX_CHUNK_LENGTH=8192
GENERIC_OPEN_AI_EMBEDDING_API_KEY="sk-aitunnel-xxx"

Модели

У каждого пространства может быть своя модель: шестерёнка пространства → Chat Settings → Workspace LLM Provider. Для агентов (@agent в чате) нужна модель с tool calling, её выбирают в Agent Configuration → Workspace Agent LLM Provider.

ЗадачаМодель
Юридические документы, максимальная точностьclaude-opus-5.5
Техническая документацияclaude-sonnet-5.5
База знаний поддержкиgemini-3.8-flash
Внутренний FAQ для всехdeepseek-v4.1-flash, gpt-6-luna
Агентыclaude-sonnet-5.5, gpt-6.1-terra, gemini-3.8-flash

Устранение неполадок

Ответы обрываются на полуслове

Увеличьте Max Tokens в настройках Generic OpenAI, по умолчанию там 1024.

«Could not respond to message» или 404

Base URL — https://api.aitunnel.ru/v1, без /chat/completions на конце.

Поиск по документам перестал работать

Скорее всего, сменилась модель эмбеддингов: старые векторы с новой несовместимы. Удалите документы из пространства и загрузите заново. Если менялся ключ, проверьте, что он обновлён и в Embedder.

Смотрите также