Guia de integração do AnythingLLM

Visão geral

O AnythingLLM trata o Routerah como um provedor Generic OpenAI. Digite o modelo, defina a janela de contexto e salve.

Configuração rápida

Cole isto no cliente. Sua chave é preenchida automaticamente quando você está conectado.

URL base: https://api.routerah.app/v1
Chave da API: YOUR_API_KEY

Compatibilidade

Configuração passo a passo

1. 1
   Abra LLM Preference

   Abra Settings na barra lateral e depois LLM Preference.

2. 2
   Escolha Generic OpenAI

   Defina LLM Provider como Generic OpenAI e preencha o formulário. Max Tokens vem com 1024 por padrão e limita toda resposta, portanto aumente esse valor.

   text

   Base URL: https://api.routerah.app/v1
   API Key: YOUR_API_KEY
   Chat Model Name: YOUR_MODEL_ID
   Model context window: 50000
   Max Tokens: 8192

   Entre para preencher automaticamente sua chave API

3. 3
   Salve

   Salve. O AnythingLLM passa a usar o Routerah nos workspaces de chat.

Modelos recomendados

Modelos gratuitos que funcionam aqui. Cole qualquer id de modelo no cliente.

Pontos de atenção

• !O Generic OpenAI busca o catálogo assim que Base URL e API Key estão preenchidos. Se a busca falhar, o campo vira uma caixa de texto, então digite o id do modelo manualmente.
• !Embedding Preference é uma aba separada. Mantenha um provedor de embeddings que funcione, a menos que o Routerah ofereça embeddings no seu plano.