LiteLLM est une passerelle AI Gateway open source et un SDK Python gérés par BerriAI. Il fournit des interfaces compatibles OpenAI, des passerelles proxy, des clés virtuelles, un contrôle budgétaire, un équilibrage de charge, une restauration, des journaux et des fonctionnalités de passerelle MCP pour plus de 100 fournisseurs LLM. Il convient à la gestion de plusieurs appels de modèles dans une infrastructure unifiée.

LiteLLM

Paramètres et statistiques de base

LiteLLM se positionne officiellement comme une AI Gateway open source : elle fait appel à plus de 100 fournisseurs LLM au format OpenAI, et centralise l'authentification, le coût, le routage, l'équilibrage de charge, les logs et les plans de gestion dans une couche passerelle via Proxy Server. Il n'est pas responsable des modèles de formation et n'est pas non plus un produit de chat pour les utilisateurs finaux ; sa valeur fondamentale est de permettre aux équipes d'ingénierie de gérer plusieurs appels de modèles depuis le « code SDK dispersé dans divers services métiers » vers une infrastructure unifiée.

Projets	Informations publiques
Formulaire de produit	SDK Python, Proxy Server / AI Gateway, hébergement d'entreprise et auto-hébergement
Dépôt officiel	BerriAI/litellm
Version publique	v1.89.2 (2026-06-18, versions GitHub/PyPI)
Couverture du fournisseur	Le README officiel décrit plus de 100 LLM
Compatible API	Format OpenAI / Erreurs compatibles OpenAI
Capacités de la passerelle	Clés virtuelles, suivi des dépenses, garde-fous, équilibrage de charge, tableau de bord d'administration
Points de terminaison pris en charge	Achèvements de chat, réponses, intégrations, images, audio, lots, reclassement, messages et plus encore
Taille de la communauté	Environ 50 971 étoiles, 9 019 forks (API GitHub, 2026-06-21)
Langage de codage	Basé sur Python
Licence open source	L'API GitHub ne donne pas le logo SPDX ; l'entrepôt dispose d'un fichier LICENSE, et les modalités spécifiques sont soumises aux fichiers en temps réel de l'entrepôt

Limite de positionnement : LiteLLM ressemble plus à une "couche de contrôle d'accès au modèle", et non à un framework RAG, un framework d'orchestration d'agent ou une plateforme de formation de modèles. Il convient pour résoudre les problèmes d’accès multi-fournisseurs, d’isolement des clés, de gouvernance budgétaire et d’observabilité ; si vous n'appelez qu'un seul modèle et n'avez pas d'exigences en matière de budget d'équipe ni d'audit, la complexité de l'utilisation directe du SDK officiel est moindre.

Reconnaissance des utilisateurs et du marché

La reconnaissance de LiteLLM sur le marché vient principalement des signaux d'adoption de la communauté des développeurs et des infrastructures. L'API GitHub montre que BerriAI/litellm compte environ 50 971 étoiles et 9 019 forks, ce qui indique qu'il est entré dans les discussions grand public sur la pile d'outils LLMOps et AI Gateway. L'entrepôt README affiche également les utilisateurs d'OSS, y compris des logos ou des noms tels que Stripe, Google ADK, Greptile, OpenHands, Netflix, OpenAI Agents SDK, etc. Ces informations montrent que la compatibilité de son interface et les capacités de gouvernance de la passerelle ont été prises en compte par plusieurs écosystèmes d'ingénierie, mais l'échelle de déploiement spécifique, le nombre de clients sous contrat et les revenus n'ont pas été divulgués.

Signal communautaire : plus de 50 000 étoiles signifient une vérification externe solide pour les projets d'infrastructure, en particulier les projets d'adaptation des fournisseurs qui doivent continuellement gérer les différences d'API, les types d'erreurs, les méthodes d'authentification et les changements de nom de modèle. Un nombre de fork élevé indique également que l'équipe a davantage de besoins en matière d'auto-hébergement, de développement secondaire et de branches internes de l'entreprise.

Conditions préalables à l'adoption : la valeur de LiteLLM augmente avec le nombre de fournisseurs de modèles, le nombre d'équipes commerciales et les besoins en matière de gouvernance budgétaire. Une petite équipe avec une seule application et un seul fournisseur ne bénéficiera peut-être pas des avantages de la couche passerelle ; les organisations disposant de plusieurs équipes, de plusieurs clés, de modèles multi-cloud et d'exigences de regroupement des coûts sont plus susceptibles d'en récolter les bénéfices.

Avantage de coût

LiteLLM ne réduit pas directement le prix unitaire du modèle sous-jacent. Son avantage en termes de coût vient de « l’entrée unifiée + le contrôle du budget et du routage ». Lorsque plusieurs équipes utilisent simultanément OpenAI, Anthropic, Bedrock, Vertex AI, Azure OpenAI ou des services d'inférence locaux, la passerelle peut placer les enregistrements d'appels, les clés virtuelles, les budgets d'équipe, les stratégies de secours et l'agrégation des coûts sur la même couche pour réduire les accès en double et la consommation incontrôlée.

Côté C/individuel : les développeurs individuels peuvent utiliser un SDK open source ou un proxy local. Le logiciel lui-même peut être essayé gratuitement. Le coût principal provient de l'API LLM sous-jacente appelée, des ressources du serveur et du temps de maintenance. S'il s'agit simplement d'un appel de script local, la valeur de LiteLLM réside dans l'unification de l'écriture du fournisseur et de la gestion des exceptions.

API/Développeur : le coût explicite pour l'équipe de développement reste les frais d'API du modèle, et le coût implicite est la maintenance du SDK multi-fournisseurs, la gestion des erreurs, l'accès aux journaux et la gestion des clés. LiteLLM réduit la quantité d'ingénierie répétitive grâce à un routeur au format compatible OpenAI, des rappels et des clés virtuelles, et convient à l'intégration de modèles dans les services publics.

Entreprise/Privé : la version entreprise implique des termes tels que SSO, SCIM, OIDC, RBAC, journaux d'audit, support d'entreprise, proxy hébergé ou déploiement auto-hébergé. La page publique est principalement destinée à contacter les commerciaux. Le SLA de prix final et les limites de responsabilité de déploiement sont soumis au devis et au contrat officiels en temps réel.

Hiérarchie des coûts	Structure des coûts	Le rôle de LiteLLM
Open source pour une utilisation locale	API LLM sous-jacente, serveur, exploitation et maintenance	Interface de fournisseur unifiée et gestion des exceptions
Passerelle d'équipe	Ressources d'exécution proxy, base de données, système de journalisation, appel de modèle	Budget, clé virtuelle, collecte par équipe, routage
Achats d'entreprise	Autorisation d'entreprise, support SSO/SCIM/OIDC, audit, services d'hébergement	Capacités de gouvernance et de conformité à grande échelle

Fonctions principales

La fonction de LiteLLM ne tourne pas autour de la capacité du modèle elle-même, mais autour de la « gestion des entrées d'appels ».

• Interface unifiée compatible OpenAI : le code métier peut appeler plus de 100 fournisseurs au format OpenAI, réduisant ainsi les coûts de migration causés par les différences entre les SDK des fournisseurs.
• Proxy Server / AI Gateway : centralisez les appels de modèles dans une seule entrée de service pour faciliter l'authentification, les journaux, les budgets et les politiques d'équipe unifiés.
• Clés virtuelles : utilisez le plan de gestion LiteLLM pour émettre des clés virtuelles afin d'éviter de distribuer directement la clé du fournisseur en amont à l'équipe commerciale.
• Suivi des dépenses et contrôle budgétaire : suivez la consommation par clé, utilisateur, équipe ou projet, adapté à l'agrégation des coûts et à la gestion des quotas.
• Routeur, nouvelle tentative et repli : configurez le routage, les nouvelles tentatives et le repli entre différents modèles ou déploiements pour réduire l'impact de la défaillance d'un seul fournisseur sur l'entreprise.
• Équilibrage de charge : répartissez les requêtes sur plusieurs déploiements, adapté aux scénarios de déploiement multiple ou multirégionaux Azure/OpenAI.
• Garde-corps et rappels de journaux : connectez-vous à des systèmes d'observation tiers via des rappels pour intégrer les politiques de sécurité, les données d'audit et expérimentales dans les plates-formes existantes.
• Tableau de bord d'administration : fournit une entrée de gestion visuelle pour les clés d'équipe, les fournisseurs de budget et les enregistrements d'utilisation.
• MCP Gateway : les notes de version officielles ont montré un visuel de contrôle des outils MCP au niveau de l'équipe montrant que les limites de sa passerelle s'étendent de l'API LLM à la gouvernance d'accès aux outils de l'agent.

L'objectif de l'acceptation de ces fonctions n'est pas « si une demande peut être émise », mais si la simultanéité élevée, la restauration des échecs, le plafonnement du budget, l'intégrité des journaux et l'isolation des autorisations peuvent fonctionner de manière stable dans des liens commerciaux réels.

Evolution du modèle et de la version

L'évolution de LiteLLM peut être considérée comme trois axes principaux : SDK unifié d'appel, gestion de passerelle proxy, gestion d'outils d'entreprise et d'agent.

SDK et étape d'appel unifié

• 2023-07-27 : Dépôt GitHub créé, le projet utilise le SDK Python pour unifier le format d'appel des différents fournisseurs LLM. La valeur fondamentale de cette étape est « d'écrire moins de code d'adaptation du fournisseur ».

Étape du serveur proxy et de la passerelle AI

• 2024-2025 : README et la documentation positionnent progressivement LiteLLM en tant que passerelle IA, avec des fonctionnalités étendues aux clés virtuelles, au suivi des dépenses, à l'équilibrage de charge, aux garde-corps et au tableau de bord d'administration. Cela passe d'une bibliothèque à une couche de contrôle d'accès de modèle déployable.

Gouvernance d'entreprise et étape de la passerelle MCP

• v1.78.0 (2025-09-12) : Les notes de version officielles montrent le visuel de contrôle des outils au niveau de l'équipe de MCP Gateway, indiquant que LiteLLM commence à intégrer les outils MCP, les magasins de vecteurs, les autorisations des membres et les paramètres de journalisation dans la même interface de gouvernance.
• v1.89.2 (2026-06-18) : La version publique actuelle des versions GitHub et PyPI, montrant que le projet est toujours publié fréquemment. Les environnements de production doivent épingler les versions stables, utiliser la stratégie d'image stable officielle et vérifier les fournisseurs, les rappels de journal et les règles budgétaires lors de la préparation.

Avantages techniques

Mécanisme de couche de compatibilité : LiteLLM convertit l'authentification, la dénomination du modèle, les paramètres de demande, la structure de réponse et les types d'exception de différents fournisseurs dans un format unifié. L’effet est que le code métier est plus susceptible de rester stable, ce qui convient aux équipes qui doivent basculer entre OpenAI, Anthropic, Gemini, Bedrock, Vertex AI, Azure OpenAI et les modèles natifs.

Gouvernance centralisée de la passerelle : Proxy Server sépare les appels de modèle du code d'application et gère les clés, les budgets, les équipes, les journaux et le routage de manière unifiée. L’effet est que les équipes de plateforme peuvent gouverner toutes les applications d’IA de manière horizontale, plutôt que de suivre la consommation des modèles service par service.

Mécanisme de routage et de secours : le routeur prend en charge les nouvelles tentatives, le repli et l'équilibrage de charge entre plusieurs déploiements. L'effet est que lorsque les fournisseurs limitent le trafic, des défaillances régionales ou des changements de prix de modèle, l'équipe peut ajuster le trafic via la configuration sans avoir à modifier immédiatement le code commercial.

Observation et connexions sécurisées : les rappels, les garde-fous, les paramètres de journalisation et le tableau de bord d'administration placent les appels de modèles dans des liens de surveillance de projet réguliers. L'effet est que les demandes, les coûts, les retards et les raisons d'échec peuvent être retracés, ce qui convient aux entreprises qui ont besoin d'un audit et d'une analyse des coûts.

Coûts et contraintes : la couche passerelle ajoute des coûts de déploiement, de mise à niveau, de base de données, de latence du réseau et de maintenance des politiques. Le README LiteLLM mentionne un signal de référence d'une latence P95 de 8 ms à 1 000 RPS, mais la latence réelle dépend toujours de l'environnement de déploiement, du chemin réseau, du rappel du journal et de la réponse du fournisseur en amont.

Comment utiliser

LiteLLM propose deux chemins principaux : intégré dans une application en tant que SDK Python ou déployé en tant que passerelle AI au niveau de l'équipe en tant que serveur proxy.

Comment utiliser	Entrée	Scénarios appropriés	Points de préoccupation
SDK Python	pip install litellm / PyPI	Application unique, accès rapide à plusieurs fournisseurs	Clé du fournisseur, gestion des exceptions, enregistrement des coûts
Serveur proxy	litellm[proxy], Docker, Helm	Passerelle unifiée multi-équipes	Clé principale de base de données, clé virtuelle, journal, budget
Entreprise / Proxy hébergé	Portail d'entreprise officiel	Gouvernance d'entreprise, SSO hébergé, Audit	SLA, limites des données, réponse d'assistance, conditions contractuelles
Passerelle MCP	Documentation officielle et notes de version	Contrôle d'accès à l'outil Agent	Autorisations des outils, isolation des équipes, intégrité des journaux

Une trajectoire d'atterrissage typique peut être divisée en trois étapes. La première étape consiste à utiliser le SDK ou le proxy local pour exécuter la même demande commerciale de 2 à 3 fournisseurs afin de vérifier si le format compatible OpenAI peut couvrir les exigences des paramètres. La deuxième étape consiste à connecter la clé de l'équipe, le budget et les journaux au proxy et à vérifier si la collecte de consommation est exacte. La troisième étape consiste à étendre le routeur, la solution de secours, les garde-corps, le SSO et la passerelle MCP pour éviter de transférer dès le début tous les éléments de gouvernance vers le lien de production.

Prix des produits

La structure commerciale publique de LiteLLM peut être divisée en trois niveaux : utilisation de l'open source, auto-hébergement par équipe et services d'entreprise. L'utilisation du SDK et du proxy open source est gratuite et les frais de l'API du modèle sous-jacent sont facturés par le fournisseur connecté ; la version entreprise, le proxy hébergé, le SSO, le SCIM/OIDC, les services de support et le SLA sont soumis à la page officielle en temps réel et au contrat de vente.

• Couche Open source : adaptée aux développeurs individuels et aux petites équipes, utilisée pour unifier l'appel de modèle et la vérification locale. Le coût explicite de l'abonnement au logiciel est de 0 $, les coûts réels proviennent de l'API du modèle, des ressources de la machine et de la maintenance.
• Niveau d'équipe auto-hébergé : convient aux organisations qui disposent déjà de capacités d'ingénierie de plateforme. Les coûts comprennent la base de données, le fonctionnement de la passerelle, le système de journalisation, la surveillance, les mises à niveau et le support interne.
• Niveau Entreprise : pour les organisations nécessitant SSO, SCIM, OIDC, RBAC, des journaux d'audit, des services gérés ou une assistance dédiée. La page publique nécessite généralement de contacter le service commercial et le prix spécifique n'est pas divulgué.

L’évaluation des prix ne peut pas se limiter au prix du logiciel. Les avantages de LiteLLM doivent être mis en balance avec les heures de travail d'accès multi-fournisseurs, le risque d'emballement budgétaire, les coûts de changement de modèle et les coûts d'audit des journaux.

Scénarios d'application

• Entrée unifiée multimodèle : l'équipe de la plateforme AI fournit une « base_url » unifiée et une clé virtuelle pour plusieurs secteurs d'activité. Le côté commercial maintient les appels compatibles OpenAI et le côté plate-forme configure uniformément le fournisseur en amont et le routage du modèle.
• Gouvernance des coûts et plafonnement budgétaire : les entreprises peuvent suivre les coûts des appels par équipe, projet, utilisateur ou clé, définir des budgets et des quotas et réduire l'opacité de facturation causée par les clés de fournisseur partagées.
• Routage de modèles haute disponibilité : repli et équilibrage de charge entre OpenAI, Azure OpenAI, Bedrock, Vertex AI ou les modèles locaux pour réduire l'impact d'une défaillance ponctuelle d'un fournisseur.
• Conformité et audit : intégrez les demandes LLM, les réponses, les retards, les erreurs, les coûts et les attributions des utilisateurs dans le système de journalisation pour faciliter les audits de sécurité et l'examen des problèmes.
• Gouvernance des outils d'agent : via la passerelle MCP et la gestion des autorisations d'équipe, les outils appelables par agent sont inclus dans le contrôle d'accès pour empêcher les autorisations des outils de se propager avec le code métier.

Chaque scénario nécessite la vérification des systèmes clés : gestion des informations d'identification du fournisseur, masquage des journaux, stratégies de nouvelle tentative en cas d'échec, expérience utilisateur lorsque le budget est en vigueur et différence de qualité de sortie provoquée par le modèle de secours.

Personnes concernées

• AI Platform and Infrastructure Team : Il est nécessaire d'unifier plusieurs appels de modèles de secteurs d'activité dans une passerelle, en prêtant attention au coût, aux autorisations, à la disponibilité et à l'audit.
• Équipe d'ingénierie backend : nécessité de réduire les différences entre les SDK des fournisseurs, de maintenir des interfaces compatibles OpenAI, tout en laissant la possibilité de changer de fournisseur.
• Équipe de sécurité et de finance de l'entreprise : besoin de voir clairement qui appelle quel modèle, quel budget est dépensé et si les limites d'autorisation sont atteintes.
• Agent Platform Team : le magasin de vecteurs de l'outil MCP, les autorisations des membres et les politiques de journalisation doivent être inclus dans le contrôle au niveau de l'équipe.

Les limites de l'incompatibilité sont également claires : les projets menés par une seule personne, les appels à modèle unique, les liens sensibles à une latence extrêmement faible ou les équipes sans capacités d'exploitation et de maintenance n'ont pas nécessairement besoin d'introduire la couche passerelle. Pour les secteurs fortement réglementés, LiteLLM n'est qu'un des composants de gouvernance, et la résidence des données, le masquage des journaux, la rotation des clés, la conformité des fournisseurs et les termes des contrats d'entreprise doivent encore être confirmés de manière indépendante.

Résumé et Outlook

La principale compétitivité de LiteLLM réside dans la mise à niveau de « l'accès multimodèle » vers la « gestion de l'accès aux modèles ». Il utilise un format compatible OpenAI pour réduire les coûts d'accès de l'entreprise, utilise le serveur proxy, les clés virtuelles, le budget, le routeur, la journalisation et le tableau de bord d'administration pour prendre en charge la gouvernance au niveau de l'équipe, puis étend les autorisations des outils d'agent via MCP Gateway. Pour les organisations qui ont déjà plusieurs fournisseurs, plusieurs équipes et des besoins en matière d'audit des coûts, cela peut devenir un point de contrôle critique dans l'infrastructure des applications d'IA.

Les limitations actuelles se concentrent principalement sur quatre points : premièrement, le logo SPDX de la licence open source ne peut pas être clairement identifié via l'API GitHub, et les conditions finales doivent être soumises au fichier LICENSE de l'entrepôt ; deuxièmement, le prix de l'entreprise, les détails du service d'hébergement et le SLA ne sont pas divulgués et nécessitent une confirmation commerciale ; troisièmement, la couche passerelle apportera une complexité supplémentaire en matière de déploiement, d'exploitation et de maintenance ; quatrièmement, l'API du fournisseur change fréquemment et la production doit établir des processus de gel des versions, de tests de régression et d'audit des journaux.

La suggestion de mise en œuvre consiste à tester d'abord le trafic professionnel à faible risque : sélectionner plus de deux fournisseurs, une interface commerciale unifiée, un budget d'équipe et un ensemble de rappels de journaux comme exigences minimales, et vérifier le taux de réussite des appels, le délai P95, la précision de l'agrégation des coûts et le comportement de déclenchement de repli. Une fois le pilote stable, il sera étendu au SSO d'entreprise, à SCIM/OIDC, à la passerelle MCP et à la gouvernance des autorisations entre équipes.

Outils associés : Visage câlin, replicate

Informations de version

• LiteLLM v1.89.2 ：La version publique actuelle présentée dans les versions GitHub et PyPI poursuit l'itération à haute fréquence de LiteLLM AI Gateway, du serveur proxy, de l'adaptation des fournisseurs et des capacités de gouvernance d'entreprise. （2026-06-18）
• LiteLLM v1.88.3 ：La version stable v1.89.x publiée la veille reflète le fait que le projet maintient un rythme intensif de correctifs en matière de compatibilité des fournisseurs, de stabilité des agents et de gouvernance des passerelles. （2026-06-17）
• LiteLLM v1.78.0 ：Notes de version officielles Le nœud de la version publique comprend des visuels de produit liés à la passerelle MCP et au contrôle des outils au niveau de l'équipe, montrant que LiteLLM est passé du proxy LLM à la gouvernance des outils d'agent. （2025-09-12）
• Dépôt public LiteLLM GitHub ：Lorsque le référentiel GitHub a été créé, le projet public était basé sur des appels multi-fournisseurs compatibles Python SDK et OpenAI, et a ensuite évolué vers Proxy Server et AI Gateway. （2023-07-27）