LiteLLM은 BerriAI에서 관리하는 오픈 소스 AI 게이트웨이 및 Python SDK입니다. 100개 이상의 LLM 제공업체를 위한 OpenAI 호환 인터페이스, 프록시 게이트웨이, 가상 키, 예산 제어, 로드 밸런싱, 롤백, 로그 및 MCP 게이트웨이 기능을 제공합니다. 여러 모델 호출을 통합 인프라로 관리하는 데 적합합니다.

LiteLLM

핵심 매개변수 및 통계

LiteLLM은 공식적으로 오픈 소스 AI 게이트웨이로 자리 잡았습니다. OpenAI 형식으로 100개 이상의 LLM 공급자를 호출하고 프록시 서버를 통해 게이트웨이 계층의 인증, 비용, 라우팅, 로드 밸런싱, 로그 및 관리 평면을 중앙 집중화합니다. 모델 교육을 담당하지 않으며 최종 사용자를 위한 채팅 제품도 아닙니다. 핵심 가치는 엔지니어링 팀이 "다양한 비즈니스 서비스에 분산된 SDK 코드"의 여러 모델 호출을 통합 인프라로 관리할 수 있도록 하는 것입니다.

프로젝트	공공정보
제품 형태	Python SDK, 프록시 서버/AI 게이트웨이, 엔터프라이즈 호스팅 및 자체 호스팅
공식 저장소	베리AI/litellm
공개 버전	v1.89.2(2026-06-18, GitHub 릴리스/PyPI)
공급자 범위	공식 README에서는 100개 이상의 LLM을 설명합니다
API 호환	OpenAI 형식/OpenAI 호환 오류
게이트웨이 기능	가상 키, 지출 추적, 가드레일, 로드 밸런싱, 관리 대시보드
지원되는 엔드포인트	채팅 완료, 응답, 임베딩, 이미지, 오디오, 배치, 순위 재지정, 메시지 등
커뮤니티 규모	약 50,971개의 별, 9,019개의 포크 (GitHub API, 2026-06-21)
코딩 언어	Python 기반
오픈소스 라이선스	GitHub API는 SPDX 로고를 제공하지 않습니다. 창고에는 LICENSE 파일이 있으며 특정 조건은 창고의 실시간 파일에 적용됩니다

포지셔닝 경계: LiteLLM은 RAG 프레임워크, 에이전트 오케스트레이션 프레임워크 또는 모델 교육 플랫폼이 아닌 "모델 액세스 제어 계층"에 가깝습니다. 다중 공급자 액세스, 키 격리, 예산 거버넌스 및 관찰 가능성 문제를 해결하는 데 적합합니다. 하나의 모델만 호출하고 팀 예산 및 감사 요구 사항이 없는 경우 공식 SDK를 직접 사용하는 복잡성이 더 낮습니다.

사용자 및 시장 인지도

LiteLLM의 시장 인지도는 주로 개발자 커뮤니티 및 인프라 채택 신호에서 비롯됩니다. GitHub API에 따르면 BerriAI/litellm에는 약 50,971개의 별과 9,019개의 포크가 있으며 이는 주류 LLMOps 및 AI 게이트웨이 도구 스택 토론에 진입했음을 나타냅니다. 웨어하우스 README에는 Stripe, Google ADK, Greptile, OpenHands, Netflix, OpenAI Agents SDK 등과 같은 로고 또는 이름을 포함하여 OSS 채택자가 표시됩니다. 이 정보는 인터페이스 호환성 및 게이트웨이 거버넌스 기능이 여러 엔지니어링 생태계에서 주목을 받았음을 보여줍니다. 그러나 구체적인 배포 규모, 계약 고객 수 및 수익은 공개되지 않았습니다.

커뮤니티 신호: 별 50,000개가 넘는다는 것은 인프라 프로젝트, 특히 API 차이점, 오류 유형, 인증 방법 및 모델 명명 변경 사항을 지속적으로 처리해야 하는 공급자 적응 프로젝트에 대한 강력한 외부 검증을 의미합니다. 또한 높은 포크 숫자는 팀에 자체 호스팅, 보조 개발 및 기업 내부 분기에 대한 요구가 더 많다는 것을 나타냅니다.

채택 전제 조건: LiteLLM의 가치는 모델 공급업체 수, 비즈니스 팀 수 및 예산 거버넌스 요구 사항에 따라 증가합니다. 단일 애플리케이션과 단일 공급자로 구성된 소규모 팀은 게이트웨이 계층의 이점을 느끼지 못할 수도 있습니다. 여러 팀, 여러 키, 다중 클라우드 모델 및 비용 집계 요구 사항이 있는 조직은 이점을 얻을 가능성이 더 높습니다.

비용 이점

LiteLLM은 기본 모델의 단가를 직접 낮추지 않습니다. 비용상의 이점은 "통합된 입구 + 예산 및 라우팅 제어"에서 비롯됩니다. 여러 팀이 OpenAI, Anthropic, Bedrock, Vertex AI, Azure OpenAI 또는 로컬 추론 서비스를 동시에 사용하는 경우 게이트웨이는 통화 기록, 가상 키, 팀 예산, 대체 전략 및 비용 집계를 동일한 레이어에 배치하여 중복 액세스 및 통제 불가능한 소비를 줄일 수 있습니다.

C 측/개인: 개인 개발자는 오픈 소스 SDK 또는 로컬 프록시를 사용할 수 있습니다. 소프트웨어 자체는 무료로 사용해 볼 수 있습니다. 주요 비용은 서버 리소스 및 유지 관리 시간이라는 기본 LLM API에서 발생합니다. 단지 로컬 스크립트 호출인 경우 LiteLLM의 가치는 제공자 작성 및 예외 처리를 통합하는 데 있습니다.

API/개발자: 개발팀의 명시적 비용은 여전히 ​​모델 API 수수료이며, 암시적 비용은 다중 공급자 SDK 유지 관리, 오류 처리, 로그 액세스 및 키 관리입니다. LiteLLM은 OpenAI 호환 형식의 라우터, 콜백 및 가상 키를 통해 반복적인 엔지니어링 양을 줄이고 모델을 공공 서비스에 통합하는 데 적합합니다.

기업/개인: 기업 버전에는 SSO, SCIM, OIDC, RBAC, 감사 로그, 기업 지원, 호스팅된 프록시 또는 자체 호스팅 배포와 같은 용어가 포함됩니다. 공개 페이지는 주로 영업 담당자에게 연락하기 위한 것입니다. 최종 가격 SLA 및 배포 책임 범위는 공식 실시간 견적 및 계약에 따릅니다.

비용 계층 구조	비용 구조	LiteLLM의 역할
로컬 사용을 위한 오픈 소스	기본 LLM API, 서버, 운영 및 유지 관리	통합 공급자 인터페이스 및 예외 처리
팀 게이트웨이	프록시 실행 자원, 데이터베이스, 로그 시스템, 모델 호출	예산, 가상키, 팀수집, 라우팅
기업 조달	기업 인증, SSO/SCIM/OIDC 지원, 감사, 호스팅 서비스	대규모 거버넌스 및 규정 준수 기능

주요 기능

LiteLLM의 기능은 모델 기능 자체가 아니라 "통화 입력 관리"를 중심으로 이루어집니다.

• OpenAI 호환 통합 인터페이스: 비즈니스 코드는 OpenAI 형식으로 100개 이상의 공급자를 호출할 수 있으므로 공급업체 SDK의 차이로 인해 발생하는 마이그레이션 비용을 줄일 수 있습니다.
• 프록시 서버/AI 게이트웨이: 모델 호출을 하나의 서비스 입구로 중앙 집중화하여 통합 인증, 로그, 예산 및 팀 정책을 용이하게 합니다.
• 가상 키: 업스트림 공급자 키를 비즈니스 팀에 직접 배포하지 않도록 LiteLLM 관리 플레인을 사용하여 가상 키를 발급합니다.
• 지출 추적 및 예산 관리: 비용 집계 및 할당량 관리에 적합한 키, 사용자, 팀 또는 프로젝트별로 소비를 추적합니다.
• 라우터, 재시도 및 대체: 단일 공급업체의 실패가 비즈니스에 미치는 영향을 줄이기 위해 다양한 모델 또는 배포 간에 라우팅, 재시도 및 대체를 구성합니다.
• 부하 분산: Azure/OpenAI 다중 배포 또는 다중 지역 시나리오에 적합한 여러 배포에 요청을 할당합니다.
• 가드레일 및 로그 콜백: 콜백을 통해 타사 관찰 시스템과 연결하여 보안 정책, 감사 및 실험 데이터를 기존 플랫폼에 통합합니다.
• 관리 대시보드: 팀 키, 예산 제공자 및 사용 기록에 대한 시각적 관리 입구를 제공합니다.
• MCP 게이트웨이: 공식 릴리스 노트에는 게이트웨이 경계가 LLM API에서 에이전트 도구 액세스 거버넌스까지 확장됨을 보여주는 팀 수준 MCP 도구 제어 시각적 개체가 표시되었습니다.

이러한 기능 수용의 초점은 "요청을 발행할 수 있는지 여부"가 아니라 높은 동시성, 실패 롤백, 예산 상한선, 로그 무결성 및 권한 격리가 실제 비즈니스 링크에서 안정적으로 실행될 수 있는지 여부입니다.

모델 및 버전의 진화

LiteLLM의 진화는 SDK 통합 통화 프록시 게이트웨이 관리, 엔터프라이즈 및 에이전트 도구 관리의 세 가지 주요 라인으로 볼 수 있습니다.

SDK 및 통합 호출 단계

• 2023-07-27: GitHub 저장소가 생성되었으며, 프로젝트는 Python SDK를 사용하여 다양한 LLM 공급자의 호출 형식을 통합합니다. 이 단계의 핵심 가치는 "벤더 적응 코드를 적게 작성"입니다.

Proxy Server 및 AI Gateway 단계

• 2024~2025: README 및 문서에서는 LiteLLM을 가상 키, 지출 추적, 로드 밸런싱, 가드레일 및 관리 대시보드로 확장된 기능을 갖춘 AI 게이트웨이로 점차적으로 자리매김하고 있습니다. 라이브러리에서 배포 가능한 모델 액세스 제어 계층으로 이동합니다.

기업 거버넌스 및 MCP 게이트웨이 단계

• v1.78.0(2025-09-12): 공식 릴리스 노트에는 MCP 게이트웨이의 팀 수준 도구 제어 시각적 개체가 표시되어 LiteLLM이 MCP 도구, 벡터 저장소, 구성원 권한 및 로깅 설정을 동일한 거버넌스 인터페이스에 통합하기 시작했음을 나타냅니다.
• v1.89.2(2026-06-18): GitHub 릴리스 및 PyPI의 현재 공개 버전으로, 프로젝트가 여전히 자주 릴리스되고 있음을 보여줍니다. 프로덕션 환경에서는 안정 버전을 고정하고 공식 안정 이미지 전략을 사용하며 준비 단계에서 공급자, 로그 콜백 및 예산 규칙을 ​​확인해야 합니다.

기술적인 장점

호환성 레이어 메커니즘: LiteLLM은 다양한 공급자의 인증, 모델 명명, 요청 매개변수, 응답 구조 및 예외 유형을 통합 형식으로 변환합니다. 그 결과 비즈니스 코드가 안정적으로 유지될 가능성이 높아지고 OpenAI, Anthropic, Gemini, Bedrock, Vertex AI, Azure OpenAI 및 기본 모델 간에 전환해야 하는 팀에 적합합니다.

게이트웨이 중앙 집중식 거버넌스: 프록시 서버는 애플리케이션 코드에서 모델 호출을 분리하고 키, 예산, 팀, 로그 및 라우팅을 통합된 방식으로 처리합니다. 그 결과 플랫폼 팀은 서비스별로 모델 소비를 추적하는 대신 모든 AI 애플리케이션을 수평적으로 관리할 수 있습니다.

라우팅 및 대체 메커니즘: 라우터는 여러 배포 간의 재시도, 대체 및 로드 밸런싱을 지원합니다. 그 결과 공급업체가 트래픽을 제한하거나 지역적 장애가 발생하거나 모델 가격이 변경되는 경우 팀은 비즈니스 코드를 즉시 변경하지 않고도 구성을 통해 트래픽을 조정할 수 있습니다.

관찰 및 보안 연결: 콜백, 가드레일, 로깅 설정 및 관리 대시보드는 모델 호출을 일반 프로젝트 모니터링 링크에 넣습니다. 그 효과는 요청, 비용, 지연 및 실패 이유를 추적할 수 있다는 것이며, 이는 감사 및 비용 검토가 필요한 기업에 적합합니다.

비용 및 제약 조건: 게이트웨이 계층에는 배포, 업그레이드, 데이터베이스, 네트워크 대기 시간 및 정책 유지 관리 비용이 추가됩니다. LiteLLM README에는 1k RPS에서 8ms P95 대기 시간의 벤치마크 신호가 언급되어 있지만 실제 대기 시간은 여전히 ​​배포 환경, 네트워크 경로, 로그 콜백 및 업스트림 공급자 응답에 따라 달라집니다.

사용방법

LiteLLM에는 Python SDK로 애플리케이션에 내장되거나 프록시 서버로 팀 수준 AI 게이트웨이로 배포되는 두 가지 주요 경로가 있습니다.

사용 방법	입구	적합한 시나리오	우려사항
파이썬 SDK	pip install litellm / PyPI	단일 애플리케이션, 다중 공급자 빠른 액세스	공급자 키, 예외 처리, 비용 기록
프록시 서버	litellm[프록시], Docker, Helm	다중 팀 통합 게이트웨이	데이터베이스 마스터 키, 가상 키, 로그, 예산
엔터프라이즈/호스팅 프록시	공식 기업 포털	엔터프라이즈 거버넌스, 호스팅 SSO, 감사	SLA, 데이터 경계, 지원 대응, 계약 조건
MCP 게이트웨이	공식 문서 및 릴리스 노트	에이전트 도구 액세스 제어	도구 권한, 팀 격리, 로그 무결성

일반적인 착륙 경로는 세 단계로 나눌 수 있습니다. 첫 번째 단계는 SDK 또는 로컬 프록시를 사용하여 2~3개 공급자의 동일한 비즈니스 요청을 실행하여 OpenAI 호환 형식이 매개변수 요구 사항을 충족할 수 있는지 확인하는 것입니다. 두 번째 단계는 팀 키, 예산, 로그를 Proxy에 연결하고 소비량 수집이 정확한지 확인하는 것입니다. 세 번째 단계는 처음부터 모든 거버넌스 항목을 프로덕션 링크에 푸시하지 않도록 라우터, 폴백, 가드레일, SSO 및 MCP 게이트웨이를 확장하는 것입니다.

제품 가격

LiteLLM의 공개 상업 구조는 오픈 소스 사용, 팀 자체 호스팅 및 엔터프라이즈 서비스의 세 가지 계층으로 나눌 수 있습니다. 오픈 소스 SDK 및 프록시는 무료로 사용할 수 있으며 기본 모델 API 요금은 연결된 공급자가 청구합니다. 엔터프라이즈 버전, 호스팅 프록시, SSO, SCIM/OIDC, 지원 서비스 및 SLA에는 공식 실시간 페이지 및 판매 계약이 적용됩니다.

• 오픈 소스 레이어: 개별 개발자 및 소규모 팀에 적합하며 모델 호출 및 로컬 검증을 통합하는 데 사용됩니다. 명시적인 소프트웨어 구독 비용은 $0이며 실제 비용은 모델 API, 시스템 리소스 및 유지 관리에서 발생합니다.
• 팀 자체 호스팅 계층: 이미 플랫폼 엔지니어링 기능을 갖춘 조직에 적합합니다. 비용에는 데이터베이스, 게이트웨이 운영, 로깅 시스템, 모니터링, 업그레이드 및 내부 지원이 포함됩니다.
• 엔터프라이즈 계층: SSO, SCIM, OIDC, RBAC, 감사 로그, 관리형 서비스 또는 전담 지원이 필요한 조직에 적합합니다. 공개 페이지에서는 일반적으로 영업팀에 문의해야 하며 구체적인 가격은 공개되지 않습니다.

가격 평가는 소프트웨어 가격만 볼 수는 없습니다. LiteLLM의 이점은 다중 공급자 액세스 작업 시간, 예산 폭주 위험, 모델 전환 비용 및 로그 감사 비용과 비교하여 평가되어야 합니다.

애플리케이션 시나리오

• 다중 모델 통합 입구: AI 플랫폼 팀은 여러 비즈니스 라인에 대한 통합 'base_url' 및 가상 키를 제공합니다. 비즈니스 측은 OpenAI 호환 호출을 유지하고, 플랫폼 측은 업스트림 공급자 및 모델 라우팅을 일관되게 구성합니다.
• 비용 거버넌스 및 예산 상한: 기업은 팀, 프로젝트, 사용자 또는 키별로 통화 비용을 추적하고, 예산 및 할당량을 설정하고, 공유 공급자 키로 인한 청구 불투명성을 줄일 수 있습니다.
• 고가용성 모델 라우팅: OpenAI, Azure OpenAI, Bedrock, Vertex AI 또는 로컬 모델 간의 폴백 및 로드 밸런싱을 통해 단일 지점 공급자 실패의 영향을 줄입니다.
• 규정 준수 및 감사: LLM 요청, 응답, 지연, 오류, 비용 및 사용자 속성을 로그 시스템에 통합하여 보안 감사 및 문제 검토를 용이하게 합니다.
• 에이전트 도구 거버넌스: MCP 게이트웨이 및 팀 권한 관리를 통해 에이전트 호출 가능 도구가 액세스 제어에 포함되어 도구 권한이 비즈니스 코드로 확산되는 것을 방지합니다.

각 시나리오에는 공급자 자격 증명 관리, 로그 마스킹, 실패 재시도 전략, 예산이 적용될 때의 사용자 경험, 대체 모델로 인한 출력 품질 차이 등 주요 시스템의 검증이 필요합니다.

해당자

• AI 플랫폼 및 인프라 팀: 비용, 권한, 가용성 및 감사에 주의하면서 여러 비즈니스 라인 모델 호출을 게이트웨이로 통합해야 합니다.
• 백엔드 엔지니어링 팀: 공급업체 SDK 차이를 줄이고 OpenAI 호환 인터페이스를 유지하면서 공급업체를 변경할 여지를 남겨야 합니다.
• 엔터프라이즈 보안 및 재무팀: 누가 어떤 모델을 호출하는지, 예산이 얼마나 지출되는지, 권한 경계에 도달했는지 명확하게 확인해야 합니다.
• 에이전트 플랫폼 팀: MCP 도구 벡터 저장소, 구성원 권한 및 로그 정책이 팀 수준 제어에 포함되어야 합니다.

비호환성의 경계도 명확합니다. 단일 사용자 프로젝트, 단일 모델 호출, 대기 시간이 매우 짧은 민감한 링크 또는 운영 및 유지 관리 기능이 없는 팀에는 반드시 게이트웨이 계층을 도입할 필요가 없습니다. 규제가 심한 산업의 경우 LiteLLM은 거버넌스 구성 요소 중 하나일 뿐이며 데이터 상주, 로그 마스킹, 키 순환, 공급업체 규정 준수 및 기업 계약 조건은 여전히 ​​독립적으로 확인되어야 합니다.

요약 및 전망

LiteLLM의 핵심 경쟁력은 '다중 모델 액세스'를 '모델 액세스 관리'로 업그레이드하는 것입니다. OpenAI 호환 형식을 사용하여 비즈니스 액세스 비용을 줄이고 프록시 서버, 가상 키, 예산, 라우터, 로깅 및 관리 대시보드를 사용하여 팀 수준 거버넌스를 지원한 다음 MCP 게이트웨이를 통해 에이전트 도구 권한을 확장합니다. 이미 여러 공급자, 여러 팀 및 비용 감사 요구 사항이 있는 조직의 경우 AI 애플리케이션 인프라에서 중요한 제어 지점이 될 수 있습니다.

현재 제한 사항은 주로 네 가지 사항에 중점을 둡니다. 첫째, 오픈 소스 라이선스의 SPDX 로고는 GitHub API를 통해 명확하게 식별할 수 없으며 최종 조건은 웨어하우스 LICENSE 파일의 적용을 받아야 합니다. 둘째, 기업 가격, 호스팅 서비스 세부 정보 및 SLA는 공개되지 않으며 비즈니스 확인이 필요합니다. 셋째, 게이트웨이 계층으로 인해 배포, 운영 및 유지 관리가 더욱 복잡해집니다. 넷째, Provider API는 자주 변경되므로 프로덕션에서는 버전 동결, 회귀 테스트 및 로그 감사 프로세스를 설정해야 합니다.

구현 제안은 위험도가 낮은 비즈니스 트래픽을 먼저 시험하는 것입니다. 최소 요구 사항으로 2개 이상의 공급자, 통합 비즈니스 인터페이스, 팀 예산 및 로그 콜백 세트를 선택하고 통화 성공률, P95 지연, 비용 집계 정확도 및 폴백 트리거 동작을 확인합니다. 파일럿이 안정화되면 엔터프라이즈 SSO, SCIM/OIDC, MCP 게이트웨이 및 팀 간 권한 거버넌스로 확장됩니다.

관련 도구: 포옹하는 얼굴, replicate

버전 정보

• LiteLLM v1.89.2 ：GitHub 릴리스와 PyPI에 모두 표시된 현재 공개 버전은 LiteLLM AI 게이트웨이, 프록시 서버, 공급자 적응 및 엔터프라이즈 거버넌스 기능의 고주파 반복을 계속합니다. （2026-06-18）
• LiteLLM v1.88.3 ：전날 출시된 안정 버전 v1.89.x는 프로젝트가 공급자 호환성, 에이전트 안정성 및 게이트웨이 거버넌스에서 집중적인 패치 리듬을 유지하고 있음을 반영합니다. （2026-06-17）
• LiteLLM v1.78.0 ：공식 릴리스 노트 공개 버전 노드에는 MCP 게이트웨이 및 팀 수준 도구 제어와 관련된 제품 시각 자료가 포함되어 있어 LiteLLM이 LLM 프록시에서 에이전트 도구 거버넌스로 확장되었음을 보여줍니다. （2025-09-12）
• LiteLLM GitHub 공개 저장소 ：GitHub 저장소가 생성되었을 때 공개 프로젝트는 Python SDK 및 OpenAI 호환 다중 공급자 호출을 기반으로 했으며 나중에 Proxy Server 및 AI Gateway로 발전했습니다. （2023-07-27）