LibreChat

Open-source клон ChatGPT для своего сервера. AITUNNEL добавляется в librechat.yaml как кастомный эндпоинт.

LibreChat — многопользовательский чат с агентами, памятью, RAG по файлам и голосом. Провайдеры описываются в файле librechat.yaml, и AITUNNEL подключается туда как кастомный эндпоинт с OpenAI-совместимым API.

Понадобятся Docker с Docker Compose и ключ из панели.

Здесь только настройка. Полное описание программы, все параметры и разбор ошибок — на странице LibreChat в каталоге инструментов.

Быстрый старт

  1. Установка

    bash
    git clone https://github.com/LibreChat-AI/LibreChat.git
    cd LibreChat
    cp .env.example .env
    cp docker-compose.override.yml.example docker-compose.override.yml
  2. Ключ в .env

    Добавьте в конец .env:

    bash
    AITUNNEL_API_KEY=sk-aitunnel-xxx

    Сам ключ в librechat.yaml не пишите: этот файл обычно лежит в git.

  3. Монтирование librechat.yaml

    docker-compose.override.yml
    services:
      api:
        volumes:
          - type: bind
            source: ./librechat.yaml
            target: /app/librechat.yaml
  4. Кастомный эндпоинт

    librechat.yaml
    version: 1.3.18
    cache: true
    
    endpoints:
      custom:
        - name: "AITUNNEL"
          apiKey: "${AITUNNEL_API_KEY}"
          baseURL: "https://api.aitunnel.ru/v1"
          models:
            default:
              - "claude-sonnet-5.5"
              - "claude-opus-5.5"
              - "gpt-6.1-terra"
              - "gemini-3.8-flash"
              - "deepseek-v4.1-flash"
              - "gpt-6-luna"
            fetch: false
          titleConvo: true
          titleModel: "gpt-6-luna"
          modelDisplayLabel: "AITUNNEL"

    models.fetch: true загрузит все модели каталога (почти две сотни), false оставит только список из default. titleModel генерирует названия диалогов, ставьте туда дешёвую модель.

  5. Запуск

    bash
    docker compose up -d

    Откройте http://localhost:3080 и зарегистрируйтесь: первый пользователь становится администратором. AITUNNEL появится в выборе эндпоинта.

Claude в формате Anthropic

Чтобы Claude работал через Anthropic Messages с кэшированием промптов и thinking, добавьте в endpoints.custom второй эндпоинт:

yaml
- name: "AITUNNEL Claude"
      provider: "anthropic"
      apiKey: "${AITUNNEL_API_KEY}"
      baseURL: "https://api.aitunnel.ru"
      models:
        default:
          - "claude-sonnet-5.5"
          - "claude-opus-5.5"
          - "claude-haiku-5.5"
        fetch: false
      titleConvo: true
      titleModel: "claude-haiku-5.5"

Модели

ЗадачаМодель
Агенты с инструментамиclaude-sonnet-5.5, gpt-6.1-terra, gemini-3.8-flash, deepseek-v4.1-flash
Названия диалогов, память, суммаризацияgpt-6-luna
Эмбеддинги для RAGtext-embedding-3-small

В разделах memory и summarization поле provider должно точно совпадать с name эндпоинта, например "AITUNNEL".

Устранение неполадок

После любого изменения librechat.yaml или .env перезапускайте контейнеры: docker compose down && docker compose up -d. Логи: docker compose logs api.

Эндпоинт не появился

  • librechat.yaml не примонтирован, проверьте docker-compose.override.yml.
  • В записи не хватает name, apiKey, baseURL или models: такая запись молча пропускается.
  • Ошибка отступов YAML: нужны пробелы, не табы.

«Missing API Key» при отправке

AITUNNEL_API_KEY не задан в .env или контейнер не перезапущен.

Ошибка 404

Для обычного эндпоинта baseURL — https://api.aitunnel.ru/v1, с /v1. Для provider: "anthropic" — без /v1.

Смотрите также