LiteLLM
LiteLLM est un proxy open source qui place une seule API compatible OpenAI devant plusieurs fournisseurs de modèles d’IA. Il émet des clés à portée limitée et journalise le modèle, les jetons et le coût de chaque requête. Connectez-le à une installation Scolah Compass pour garder le trafic et les dépenses IA sur votre propre serveur et vos propres comptes fournisseurs.
LiteLLM est distribué sous licence MIT. Gratuit — non facturé. Les requêtes aux modèles sont facturées par les fournisseurs sur vos propres comptes.
Ce qui est installé
Section intitulée « Ce qui est installé »- Proxy LiteLLM : le point d’accès de l’API et son interface d’administration.
- Base de données : une base de données PostgreSQL qui stocke les clés du proxy et son journal de dépenses et d’utilisation.
Le proxy est fourni avec ces modèles configurés :
| Modèle | Fournisseur |
|---|---|
claude-sonnet-5, claude-sonnet-4-6, claude-opus-5, claude-haiku-4-5 |
Anthropic |
gpt-4o-mini |
OpenAI |
text-embedding-3-small (embeddings) |
OpenAI |
LiteLLM sert un seul site web. Attribuez-lui une adresse web depuis l’onglet Domaines de l’installation : voir Domaines et HTTPS.
Avant l’installation
Section intitulée « Avant l’installation »- Obtenez une clé API auprès de chaque fournisseur que vous souhaitez utiliser : Anthropic pour les modèles Claude, OpenAI pour le modèle GPT et pour les embeddings. Scolah Compass a besoin du modèle d’embeddings d’OpenAI pour sa recherche documentaire (RAG) : ajoutez donc une clé OpenAI si Scolah Compass doit utiliser ce proxy.
- Choisissez une Deployment size (taille de déploiement) :
smalloumedium.smallexécute un worker de proxy avec 1 Gio de mémoire et nécessite environ 1 cœur CPU, 2 Gio de mémoire et 5 Gio de disque.mediumexécute 4 workers avec 3 Gio et nécessite environ 4 cœurs CPU, 5 Gio de mémoire et 10 Gio de disque. Adéquation du serveur vérifie ces valeurs.
| Option | Rôle |
|---|---|
| Deployment size | small pour une empreinte plus légère. medium exécute plus de workers, avec plus de mémoire, pour davantage de requêtes. |
| Anthropic API key (clé API Anthropic) | Dans l’encadré Secrets. Votre propre clé Anthropic. Les requêtes aux modèles Claude sont facturées sur votre compte Anthropic. |
| OpenAI API key (clé API OpenAI) | Dans l’encadré Secrets. Votre propre clé OpenAI, utilisée pour les modèles GPT et pour les embeddings dont Scolah Compass a besoin. |
Les deux clés API sont facultatives. Un modèle dont vous omettez la clé échoue lorsqu’il est appelé, mais le proxy démarre quand même. Les clés sont scellées sur votre serveur et ne sont plus jamais affichées dans le portail.
Sous Avancé, vous pouvez utiliser un serveur PostgreSQL que vous exploitez déjà à la place de la base de données fournie. Voir Services externes.
Première connexion
Section intitulée « Première connexion »Le portail n’affiche aucun Identifiants de première connexion pour LiteLLM. Sa clé maître et le mot de passe de sa base de données sont générés pour vous et restent scellés sur le serveur. Les applications que vous connectez reçoivent leur propre clé à portée limitée, jamais la clé maître.
Pour vous connecter à l’interface d’administration de LiteLLM, connectez un fournisseur d’authentification unique (voir ci-dessous).
Connexions
Section intitulée « Connexions »LiteLLM peut fournir à d’autres installations :
- LLM proxy (OpenAI-compatible) (proxy LLM compatible OpenAI) : le point d’accès IA d’une autre installation, comme Scolah Compass. La plateforme émet pour cette installation sa propre clé à portée limitée. Lors de la connexion, vous choisissez son Default model (modèle par défaut) : le modèle qu’elle utilise sauf si elle en demande un autre.
- LLM spend and usage log (read-only) (journal des dépenses et de l’utilisation LLM, en lecture seule) : un accès en lecture seule à la base de données du proxy, pour produire des rapports sur l’utilisation et le coût de l’IA. Les tables de clés sont exclues.
LiteLLM peut utiliser depuis d’autres installations :
- Single sign-on for the admin UI (authentification unique pour l’interface d’administration) : connexion à l’interface d’administration via un fournisseur d’identité comme Keycloak. Cela ne concerne que l’interface d’administration ; les appels API restent authentifiés par clé. Facultatif.
Voir Connexions.