Улучшение RAG с Rerank API

Запрос → Embeddings (top-50) → Rerank → top-5 → LLM

import requests
from openai import OpenAI

# Клиент AITUNNEL
client = OpenAI(
    api_key="sk-aitunnel-xxx",
    base_url="https://api.aitunnel.ru/v1/"
)

def embed(texts: list[str]) -> list[list[float]]:
    """Векторизация через AITUNNEL Embeddings"""
    resp = client.embeddings.create(
        model="text-embedding-3-small",
        input=texts
    )
    return [item.embedding for item in resp.data]

def rerank(query: str, documents: list[str], top_n: int = 5) -> list[str]:
    """Переранжирование через Cohere Rerank"""
    resp = requests.post(
        "https://api.aitunnel.ru/v1/rerank",
        headers={"Authorization": "Bearer sk-aitunnel-xxx"},
        json={
            "model": "rerank-4-pro",
            "query": query,
            "documents": documents,
            "top_n": top_n
        }
    )
    results = resp.json()["results"]
    return [r["document"]["text"] for r in results]

def rag_answer(query: str, knowledge_base: list[str]) -> str:
    """Полный RAG-пайплайн с rerank"""
    # Шаг 1: быстрый retrieval (в реальном проекте — vector DB)
    candidates = knowledge_base[:20]  # упрощённо

    # Шаг 2: rerank — оставляем только релевантные
    top_docs = rerank(query, candidates, top_n=3)

    # Шаг 3: генерация с чистым контекстом
    context = "\n\n".join(top_docs)
    response = client.chat.completions.create(
        model="gpt-5.2",
        messages=[
            {"role": "system", "content": f"Используй контекст для ответа:\n\n{context}"},
            {"role": "user", "content": query}
        ]
    )
    return response.choices[0].message.content

# Использование
answer = rag_answer(
    "Как настроить кеширование в Redis?",
    knowledge_base=[...]
)
print(answer)

from langchain.retrievers import ContextualCompressionRetriever
from langchain_community.document_compressors import CohereRerank

compressor = CohereRerank(
    cohere_api_key="...",  # или через AITUNNEL прокси
    top_n=3,
    model="rerank-4-pro"
)

compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor,
    base_retriever=vectorstore.as_retriever(search_kwargs={"k": 20})
)