LiteLLM
O LiteLLM é um proxy de código aberto que coloca uma única API compatível com OpenAI na frente de vários provedores de modelos de IA. Ele emite chaves com escopo limitado e registra, para cada requisição, o modelo, os tokens e o custo. Conecte-o a uma instalação do Scolah Compass para manter o tráfego e os gastos de IA no seu próprio servidor e nas suas próprias contas de provedor.
O LiteLLM é licenciado sob MIT. Execução gratuita — não é cobrado. As requisições aos modelos são cobradas pelos provedores nas suas próprias contas.
O que é instalado
Seção intitulada “O que é instalado”- Proxy LiteLLM: o ponto de acesso da API e a respectiva interface de administração.
- Banco de dados: um banco de dados PostgreSQL que armazena as chaves do proxy e o registro de gastos e uso.
O proxy vem com estes modelos configurados:
| Modelo | Provedor |
|---|---|
claude-sonnet-5, claude-sonnet-4-6, claude-opus-5, claude-haiku-4-5 |
Anthropic |
gpt-4o-mini |
OpenAI |
text-embedding-3-small (embeddings) |
OpenAI |
O LiteLLM serve um único site. Atribua a ele um endereço web na aba Domínios da instalação: consulte Domínios e HTTPS.
Antes de instalar
Seção intitulada “Antes de instalar”- Obtenha uma chave de API de cada provedor que você pretende usar: a Anthropic para os modelos Claude, a OpenAI para o modelo GPT e para os embeddings. O Scolah Compass precisa do modelo de embeddings da OpenAI para a busca em documentos (RAG), então adicione uma chave da OpenAI se o Scolah Compass for usar este proxy.
- Escolha um Deployment size (tamanho da implantação):
smalloumedium.smallexecuta um processo do proxy com 1 GiB de memória e precisa de cerca de 1 núcleo de CPU, 2 GiB de memória e 5 GiB de disco.mediumexecuta 4 processos com 3 GiB e precisa de cerca de 4 núcleos de CPU, 5 GiB de memória e 10 GiB de disco. A Adequação do servidor verifica esses valores.
| Opção | O que faz |
|---|---|
| Deployment size | small para um uso de recursos mais leve. medium executa mais processos, com mais memória, para mais requisições. |
| Anthropic API key (chave de API da Anthropic) | Na caixa Segredos. Sua própria chave da Anthropic. As requisições aos modelos Claude são cobradas na sua conta da Anthropic. |
| OpenAI API key (chave de API da OpenAI) | Na caixa Segredos. Sua própria chave da OpenAI, usada para os modelos GPT e para os embeddings de que o Scolah Compass precisa. |
As duas chaves de API são opcionais. Um modelo cuja chave você omitir falha quando é chamado, mas o proxy inicia mesmo assim. As chaves são seladas no seu servidor e nunca mais são mostradas no portal.
Em Avançado você pode usar um servidor PostgreSQL já em execução em vez do banco de dados incluído. Consulte Serviços externos.
Primeiro login
Seção intitulada “Primeiro login”O portal não mostra Credenciais de primeiro acesso para o LiteLLM. A chave mestra e a senha do banco de dados são geradas automaticamente e ficam seladas no servidor. Os aplicativos que você conectar recebem a própria chave com escopo limitado, nunca a chave mestra.
Para entrar na interface de administração do LiteLLM, conecte um provedor de login único (veja abaixo).
Conexões
Seção intitulada “Conexões”O LiteLLM pode oferecer a outras instalações:
- LLM proxy (OpenAI-compatible) (proxy de LLM compatível com OpenAI): o ponto de acesso de IA para outra instalação, como o Scolah Compass. A plataforma emite para essa instalação uma chave própria com escopo limitado. Ao conectar, você escolhe o Modelo padrão dela: o modelo que ela usa, a menos que peça outro.
- LLM spend and usage log (read-only) (registro de gastos e uso de LLM, somente leitura): acesso somente leitura ao banco de dados do proxy, para relatórios sobre o uso e o custo da IA. As tabelas de chaves ficam excluídas.
O LiteLLM pode usar a partir de outras instalações:
- Single sign-on for the admin UI (login único para a interface de administração): entre na interface de administração por um provedor de identidade como o Keycloak. Isso afeta apenas a interface de administração; as chamadas à API continuam sendo autenticadas por chave. Opcional.
Consulte Conexões.