MLflow 무료

Name: MLflow
Price: 무료 KRW
Availability: InStock
Author: LF AI & 데이터 파운데이션 / 데이터브릭스

개발사 LF AI & 데이터 파운데이션 / 데이터브릭스

공식 웹사이트 https://mlflow.org/

MLflow는 Linux Foundation이 호스팅하는 Databricks에서 출시한 오픈 소스 AI 엔지니어링 플랫폼입니다. 에이전트/LLM 추적, 평가, 프롬프트 단어 관리 AI 게이트웨이는 물론 기존 ML 실험 추적, 모델 등록 및 배포도 다룹니다. 한 달에 3천만 번 이상 다운로드되었으며 수천 개의 회사에서 AI 애플리케이션의 프로덕션 제공을 위해 사용됩니다.

MLflow

핵심 매개변수 및 통계

MLflow는 현재 공식적으로 "에이전트, LLM 및 모델을 위한 오픈 소스 AI 엔지니어링 플랫폼"으로 자리잡은 세계 최대의 오픈 소스 AI 엔지니어링 플랫폼(유형 D - 생산성/비즈니스 애플리케이션)입니다. 에이전트/LLM 관찰 가능성에서 기존 ML 수명 주기까지의 전체 링크를 다룹니다. 단순한 실험 추적 도구가 아니라 추적, 평가, 프롬프트 단어 관리, AI 게이트웨이 및 모델 배포를 오픈 소스 플랫폼에 통합합니다.

프로젝트	공공정보
공식 포지셔닝	에이전트, LLM 및 모델을 위한 오픈 소스 AI 엔지니어링 플랫폼
핵심역량라인	에이전트/LLM 관찰성, 평가, 프롬프트 단어 관리 AI 게이트웨이, 실험 추적, 모델 등록, 모델 배포
배포 방법	자체 호스팅 오픈 소스 버전/Databricks 호스팅 서비스
오픈 소스 라이센스	아파치 2.0
커뮤니티 규모	GitHub 별 27.1K개, 포크 6K개, 기여자 1091명 이상
최신 버전	MLflow 3.14.0(2026-06-17)
월별 다운로드	3천만 회 이상(공식 공개 데이터)
지원 플랫폼	웹, 데스크탑, API
기여	미국(LF AI & 데이터 파운데이션)
지원되는 언어	Python, TypeScript/JavaScript, Java, R

간략한 설명: MLflow는 또 다른 ML 프레임워크 또는 실험 관리 도구가 아니라 "AI 프로젝트를 위한 통합 엔지니어링 제어 표면"입니다. 에이전트 추적 LLM 평가, 프롬프트 단어 버전 관리, 모델 등록 및 배포를 추적 가능한 엔지니어링 링크에 통합하여 "AI 개발과 생산 사이에 표준화된 인프라 부족" 문제를 해결합니다.

커뮤니티 및 반복 리듬: GitHub에서는 171개의 릴리스 버전을 보여줍니다. 2026년부터 정식 버전은 약 3주 주기(3.11.1→3.12.0→3.13.0→3.14.0)로 푸시되었으며, rc 후보 버전도 안정적인 전달 리듬을 형성하고 있습니다. 핵심 유지 관리 팀은 Databricks 출신이지만 커뮤니티 기여자가 1,091명 이상으로 단일 회사 지배 단계를 통과하고 재단 거버넌스의 생태 개발 단계에 진입했음을 나타냅니다.

플랫폼 차원과 기존 MLOps 도구: 단일 세그먼트 도구(예: W&B 부분 실험 추적 Langfuse 부분 LLM 관찰 가능성)에 중점을 두는 것과 달리 MLflow는 오픈 소스 범위 내에서 전체 AI 엔지니어링 링크를 포괄하려고 시도합니다. 이 "원스톱" 전략은 도구 전환 비용을 줄이지만 각 하위 모듈이 전용 플레이어만큼 깊이가 없을 수도 있음을 의미합니다.

MLflow의 사용자 및 시장 인지도

MLflow는 시장 인지도에서 오픈 소스 AI 엔지니어링 플랫폼을 선도하며 채택 데이터에는 GitHub 커뮤니티 지표와 공식적으로 공개된 다운로드/기업 채택이라는 두 가지 검증 가능한 기준이 있습니다.

GitHub 커뮤니티 인기도: 27.1K 스타, 6K 포크, 1091명 이상의 기여자, AI/ML 인프라 분야의 오픈 소스 프로젝트의 첫 번째 계층에 속합니다. 유사 제품 비교: Kubeflow는 약 14K Stars, Kedro는 약 10K Stars, Langfuse는 약 8K Stars입니다. 별의 수 자체가 능력의 증거는 아니지만 커뮤니티의 관심, 문제 대응 속도, 플러그인/통합 생태계의 활동을 반영합니다. MLflow는 이 세 가지 측면에서 선두를 달리고 있습니다.

다운로드 및 기업 채택: 공식적으로 공개된 월별 다운로드는 3천만 회를 초과합니다(PyPI와 같은 패키지 관리자로부터). 기업 고객으로는 Databricks, Microsoft, Meta, mosaicML, Zillow, Toyota, Booking.com, Wix, Accenture, ASML 등이 있습니다. 이러한 공개 회사 로고는 공식 웹사이트에 표시되지만 각 회사의 구체적인 사용 깊이와 유료 전환 데이터는 공개되지 않습니다.

업계 포지셔닝 변경: 2024년 이전에는 MLflow가 주로 MLOps 도구로 간주되었습니다. 2026년에는 공식 포지셔닝이 'AI 엔지니어링 플랫폼'으로 완전히 전환되었으며 핵심 내러티브는 ML 실험 관리에서 에이전트/LLM 관찰 가능성으로 전환되었습니다. 이러한 변화는 시장 수요의 변화를 반영하며 Langfuse, Braintrust, LangSmith 등과 같은 LLM 관찰 도구와 정면으로 경쟁해야 함을 의미합니다.

전제 조건: MLflow의 실제 가치는 팀에 이미 여러 사람이 협력하는 AI 개발 프로세스가 있을 때 드러납니다. 1인 실험 단계에서는 MLflow를 사용하는 이점이 제한적이며, 추가 서버 운영 및 유지 관리 비용이 발생할 수도 있습니다.

MLflow의 비용 이점: 오픈 소스 무료 및 호스팅 서비스 계층 구조

MLflow의 비용 이점은 "무료 오픈 소스 코어 + 종량제 호스팅 서비스"의 계층적 모델을 기반으로 합니다. 다양한 채택 경로 간의 실제 비용 차이는 주로 라이센스보다는 운영 및 유지 관리에 있습니다.

C 측/개인 개발자: 오픈 소스 버전은 완전히 무료이며(Apache 2.0 라이센스) pip install mlflow + mlflow server를 통해 로컬 또는 단일 서버에서 시작할 수 있습니다. 이는 개인 실험, 학술 연구, 소규모 팀 프로토타입 검증을 위한 제로 임계값입니다. 그러나 자체 호스팅 시나리오에서는 개인이 MLflow Server(클라우드 서버는 월 약 50~200위안의 경량 인스턴스를 실행할 수 있음)를 실행하는 데 필요한 인프라 비용과 데이터베이스(SQLite가 기본값, 프로덕션에는 PostgreSQL/MySQL 권장) 및 스토리지(로컬 또는 클라우드 개체 스토리지)의 숨겨진 비용을 부담해야 합니다.

API/개발자: 오픈소스 버전에는 API 호출 비용이 없습니다. MLflow의 Databricks 호스팅 버전 가격은 Databricks 공식 가격 페이지(MLflow 공식 웹 사이트에는 표시되지 않음)를 기반으로 하며 일반적으로 컴퓨팅 리소스(DBU) 및 스토리지 볼륨을 기준으로 요금이 청구됩니다. 개발자는 자체 호스팅 서버에서 REST API를 통해 프로그래밍 방식 통합을 수행할 수도 있습니다. API 엔드포인트는 완전한 오픈 소스이며 빈도 제어나 통화량 제한이 없습니다.

기업/개인: 오픈 소스 버전은 라이선스 비용 없이 완전 개인 배포를 지원합니다. 엔터프라이즈 수준 기능(예: RBAC 권한 관리, 감사 로그 SSO)은 MLflow 3.13.0 이후 오픈 소스 버전(새로운 역할 권한 시스템 기반)에서 직접 제공되었으며 더 이상 Databricks 호스팅 버전으로 제한되지 않습니다. 이는 기업이 소프트웨어 라이센스 비용을 지불하지 않고도 완전한 권한 관리 기능을 얻을 수 있음을 의미합니다. 그러나 엔터프라이즈 배포의 실제 비용은 인프라(프로덕션 등급 다중 노드 배포 + 고가용성 데이터베이스 + 객체 스토리지), 운영 인력(업그레이드, 백업, 모니터링), 기존 CI/CD 및 인프라와의 통합 노력입니다. 이미 Kubernetes 클러스터가 있는 팀의 경우 MLflow 3.13+에서 제공하는 공식 Helm Chart를 사용하면 배포 복잡성을 크게 줄일 수 있습니다.

실제 비용 구조: 대부분의 팀에서 MLflow의 숨겨진 비용은 소프트웨어 자체가 아니라 '통합 및 유지 관리'에 있습니다. 이는 팀을 '통합 AI 엔지니어링 플랫폼 없음'에서 'MLflow를 사용하여 전체 링크 관리'로 마이그레이션하는 데 필요한 선행 투자입니다. 여기에는 기존 워크플로의 조정 및 변환, Artifact 스토리지 전략 설계, 사용자 권한 모델 계획, 기존 CI/CD 파이프라인(예: Jenkins, GitHub Actions)과의 도킹이 포함됩니다. 이 투자는 일반적으로 MLflow Server 자체의 운영 비용보다 훨씬 높습니다.

MLflow의 주요 기능

MLflow의 기능 시스템은 "에이전트/LLM 시나리오용"과 "기존 ML 시나리오용"이라는 두 가지 차원에서 이해할 수 있습니다. 둘 다 동일한 인프라 세트(추적 서버, 모델 레지스트리, UI)를 공유하지만 기능 모듈은 독립적으로 개발됩니다.

에이전트/LLM 시나리오

관찰 가능성/추적: OpenTelemetry를 기반으로 구축되어 각 프롬프트 입력, 도구 호출 LLM 응답, 중간 단계 및 토큰 소비를 포함하여 에이전트 및 LLM 애플리케이션의 전체 호출 링크를 자동으로 캡처합니다. Python, TypeScript/JavaScript, Java 등 다국어를 지원하고, 60개 이상의 프레임워크로 원클릭 자동 로깅(AutoLogging)을 구현합니다. 경쟁 제품과의 차이점: MLflow의 Tracing은 독립 제품이 아닌 오픈 소스 플랫폼에 내장되어 있습니다. 즉, Trace 데이터, 실험 추적 및 모델 등록이 동일한 스토리지 및 백엔드를 공유하며 문제 해결을 위해 여러 시스템 간에 이동할 필요가 없습니다.
평가: 50개 이상의 내장 점수 표시기와 LLM-판사 평가기를 제공하여 사용자 정의 평가 논리를 지원합니다. 3.14.0에 도입된 @mlflow.test pytest 태그를 사용하면 개발자가 CI 파이프라인에 직접 회귀 테스트를 작성할 수 있으며, 각 제출은 자동으로 품질 검사를 트리거하고 이를 MLflow UI에 출력합니다. 구현 팁: 평가 결과의 병목 현상은 일반적으로 평가 도구 자체보다는 "테스트 데이터 세트의 주석 품질"입니다. 핵심 시나리오를 다루는 주석 데이터 세트를 구축하려면 초기 단계에서 시간을 투자하는 것이 좋습니다.
프롬프트 및 최적화: 프롬프트 레지스트리는 프롬프트의 버전 관리를 수행하고 테스트에서 프로덕션으로의 단계 업그레이드(스테이징→프로덕션)를 지원합니다. 내장된 프롬프트 최적화 엔진은 MemAlign과 같은 알고리즘을 사용하여 프롬프트 단어 효과를 자동으로 최적화합니다. 3.14.0의 새로운 LLM Playground를 사용하면 브라우저에서 직접 프롬프트 단어를 반복하고 실시간으로 다양한 버전의 효과를 비교할 수 있습니다.
AI 게이트웨이: 다중 모델 라우팅, 속도 제한, 내결함성 폴백, 예산 제어 및 액세스 권한 관리를 지원하는 통합 OpenAI 호환 프록시 레이어입니다. 20개 이상의 모델 제공자(OpenAI, Anthropic, Gemini, Bedrock, Ollama, Groq, DeepSeek 등)에 연결할 수 있으며 Guardrails 메커니즘을 통해 요청 전후에 보안 및 규정 준수 검사를 지원합니다. 아키텍처 위치: LLM → AI 게이트웨이 → 모델 공급자인 게이트웨이는 비용 제어, 감사 및 액세스 거버넌스를 달성하기 위해 모든 모델 호출에 대한 통합 입구 역할을 합니다.
**A

gent Server**: 3.14.0에 도입된 FastAPI 기반 에이전트 호스팅 솔루션입니다. 에이전트 애플리케이션은 내장된 스트리밍 응답, 요청 확인 및 자동 추적을 통해 하나의 명령으로 프로덕션 등급 HTTP 엔드포인트로 배포할 수 있습니다.

기존 ML 시나리오

실험 추적: 각 훈련의 매개변수 사전, 표시 곡선, 코드 버전 및 출력 아티팩트(모델 가중치, 시각적 차트 등)를 기록하고 UI를 통해 정렬, 필터링 및 비교 가능한 실험 목록을 제공합니다. 핵심 협업: 실험 추적과 모델 레지스트리 간의 연결 - 실험의 고품질 실행(Runs)을 한 번의 클릭으로 등록된 모델 버전으로 업그레이드할 수 있으므로 수동으로 가중치 파일을 이동할 필요가 없습니다.
모델 레지스트리: 모델 버전, 지원 단계 라벨(스테이징→생산→보관), 버전 설명, 계보 추적성 및 승인 워크플로우를 위한 중앙 집중식 관리 웨어하우스입니다. 모델 출시 관리 및 A/B 테스트 시나리오에 적합합니다.
모델 배포: Docker, Kubernetes, Amazon SageMaker, Azure ML, Nebius 등과 같은 여러 대상 플랫폼을 지원하는 REST API 엔드포인트로 MLflow 형식으로 모델을 패키징합니다. 'mlflow modelsserv' 명령을 사용하면 모델 추론 서비스를 로컬에서 빠르게 시작할 수 있습니다.
모델 평가(ML 평가): 실험 추적 프로세스에 통합된 자동 평가 도구로, 분류, 회귀, 순위 지정 및 기타 작업에 대한 표준화된 지표 계산을 지원합니다. LLM 평가 모듈과 동일한 평가 인프라를 공유합니다.

MLflow 모델 및 버전 진화

MLflow의 버전 번호는 2025년 말부터 2026년 초까지 2.x에서 3.x로의 주요 버전 전환을 완료하여 제품 포지셔닝이 "ML 수명 주기 관리"에서 "AI 엔지니어링 플랫폼"으로 포괄적으로 전환되었음을 나타냅니다. 다음은 단계별 키 버전 노드를 요약한 것입니다.

1.x 시대: ML 실험 관리의 기반 마련(2020-2022)

MLflow 1.0 (~2020-06): 추적, 프로젝트, 모델 및 레지스트리의 4가지 주요 모듈을 설정하고 경량, 프레임워크 독립적인 설계 개념을 사용하여 Kubeflow와 같은 무거운 플랫폼과 차별화되는 최초의 안정적인 버전입니다.
MLflow 1.x 시리즈(2020-2022): REST API, MLflow 프로젝트 패키징 사양, Apache Spark와의 긴밀한 통합, 모델 레지스트리의 단계 관리 기능을 점진적으로 개선합니다. 핵심 사용자 기반은 데이터 과학 및 ML 엔지니어링 팀입니다.

2.x 시대: LLM 및 배포 확장(2023-2026)

MLflow 2.0(~2023-03): 주요 아키텍처 리팩터링, 새로운 추적 UI 도입, LLM 시나리오 지원(예: 프롬프트 추적), 더욱 풍부한 모델 배포 옵션(SageMaker, Azure ML 등) 및 향상된 대용량 파일 아티팩트 관리.
MLflow 2.18(~2026-04): 2.x 시리즈의 최종 버전으로, LLM 추적 및 평가 기능을 더욱 향상시켜 3.x로의 포괄적인 전환을 위한 길을 열어줍니다. 2.x는 총 약 20번 이상의 버전 업데이트를 경험했으며, 반복 주기는 한 달에 한 번 정도의 공식 버전입니다.

3.x 시대: AI 엔지니어링 플랫폼 전환(2026~현재)

MLflow 3.11.1(2026-04-08): 자동 문제 감지(AI 문제 감지), 게이트웨이 예산 경보 추적 그래픽 보기, 기본 OpenTelemetry GenAI 의미 체계 지원 및 UV 패키지 관리자 모델 종속성 식별을 도입합니다. 동시에 우리는 LiteLLM과 같은 타사 종속성을 제거하기 시작했고 자체 구축된 공급자 라우팅으로 전환했습니다.
MLflow 3.12.0(2026-05-06): 다중 모드 추적 첨부 파일(사진, 오디오 및 파일이 Trace에 직접 저장됨), Codex/Gemini/Qwen 코딩 에이전트 추적 AI 게이트웨이 가드레일 메커니즘(Guardrails). TypeScript SDK 패키지 이름이 @mlflow/ 조직 범위로 이동되었습니다.
MLflow 3.13.0 (2026-06-02): RBAC 역할 권한 관리 시스템 및 관리 UI - 이는 오픈 소스 버전의 중요한 이정표입니다. 엔터프라이즈 수준 권한 거버넌스는 더 이상 Databricks 호스팅 버전에 의존하지 않습니다. 동일한 버전에는 객체 스토리지에 대한 Trace 자동 보관, K8s 배포를 위한 공식 Helm Chart 및 Hermes Agent 지원이 도입되었습니다.
MLflow 3.14.0 (2026-06-17): 현재 최신 버전입니다. 원클릭 에이전트 액세스(mlflow 에이전트 설정 명령), Claude Code 짧은 대기 시간 지속성 추적(Write-Ahead-Log 기반), 추적 검토 대기열(검토 대기열), pytest 회귀 테스트 통합(@mlflow.test), LLM Playground 프롬프트 단어 반복 플랫폼. 주요 변경 사항: 보안을 강화하기 위해 sklearn 및 PyTorch의 기본 직렬화 형식이 pickle에서 skops / pt2로 전환되었습니다.

MLflow의 기술적 장점

MLflow의 기술적 이점은 단일 알고리즘 혁신에 있는 것이 아니라 건축 설계의 "플랫폼 통일성"과 "생태학적 개방성"에 있습니다. 이 두 가지 점은 다중 도구 협업 시나리오에서 실제 가치를 결정합니다.

경량 및 프레임워크 독립적인 디자인 철학: MLflow는 첫날부터 "프레임워크도, 플랫폼도 아닌 라이브러리"라는 철학을 고수했습니다. Python/R/Java/TypeScript로 학습 스크립트를 작성할 수 있는 한 import mlflow를 사용하여 액세스할 수 있습니다. Kubeflow(Kubernetes 클러스터 파이프라인 DSL 및 전체 DevOps 프로세스 필요)와 비교할 때 MLflow의 배포 임계값은 매우 낮습니다. 단일 서버 또는 단일 노트북에서도 완전한 실험 추적 및 모델 등록 서비스를 실행할 수 있습니다. 이 디자인의 가격은 다음과 같습니다. 팀이 확장되고 다중 테넌트 격리 및 세분화된 권한이 필요할 때 오픈 소스 버전(SQLite + 로컬 파일 시스템)의 기본 구성은 빠르게 병목 현상에 도달하고 프로덕션 등급 데이터베이스 및 개체 저장소로 이동해야 합니다.

OpenTelemetry 기반 관찰 가능성 아키텍처: MLflow의 추적 모듈은 자체 개발 프로토콜을 개발하는 대신 OpenTelemetry 표준을 기반으로 직접 구축되었습니다. 이는 OTel 생태계의 모든 수집기, 내보내기 및 시각화 도구와 상호 운용될 수 있음을 의미합니다. 3.11.1+에서는 OTel GenAI 의미 체계 계약 내보내기를 지원하므로 Trace 데이터를 표준 OTel 플랫폼(예: Grafana, Datadog)에서 사용할 수 있습니다. 메커니즘→효과: 팀은 MLflow의 추적 형식과 기존 관찰 가능한 인프라 중에서 선택할 필요가 없습니다. MLflow Trace는 Otel 데이터 흐름의 일부로 통합 모니터링 시스템에 들어갈 수 있습니다.

통합 데이터 모델: 실험, 실행, 모델 버전, Trace와 같은 엔터티는 동일한 백엔드 스토리지 세트(SQL 데이터베이스 + 개체 스토리지)를 공유합니다. 즉, Trace에서 UI의 해당 실험 실행으로 직접 점프하고 모델 버전에서 이를 훈련한 실행으로 역추적할 수 있습니다. 이러한 종류의 "단방향 추적성" 기능은 생산 문제를 해결할 때 매우 중요합니다. 특정 모델 버전의 품질이 온라인에서 저하되면 운영자는 모델 레지스트리에서 직접 훈련 실험의 전체 매개변수와 지표를 추적할 수 있습니다.

AI 게이트웨이의 분산형 설계: 3.11.1+는 LiteLLM에 대한 의존성을 제거하기 시작하고 대신 각 모델 공급자(OpenAI, Anthropic, Bedrock, Vertex AI, Ollama, xAI 등)의 기본 공급자 구현을 구축합니다. 이는 AI Gateway가 외부 종속성 없이 독립적으로 실행될 수 있어 배포 복잡성과 잠재적인 보안 공급망 위험을 줄일 수 있음을 의미합니다. 게이트웨이는 또한 분산 배포의 예산 추적과 Guardrails 기반 요청 사전 및 사후 보안 검사를 위한 Redis 백엔드를 지원합니다.

프로젝트의 함정과 경계에 대한 설명:

Trace 데이터 확장: 프로덕션 환경에서 Tracing을 활성화한 후 샘플링 속도와 보존 정책이 설정되지 않으면 기록되는 Trace 데이터의 양이 SQL 데이터베이스의 수용 용량을 빠르게 초과할 수 있습니다. MLflow 3.13+의 Trace 자동 아카이빙 메커니즘(콜드 데이터를 객체 스토리지로 이동)은 필요한 기능이지만 실제 Trace 규모를 기반으로 아카이빙 전략(아카이브 기간, 아카이빙 후 쿼리 지연)을 미리 계획해야 합니다.
기존 워크플로 마이그레이션 비용: 기존 도구(예: W&B, MLflow 1.x)에서 최신 버전의 MLflow 3.x로 마이그레이션하는 경우 API 호환성 및 데이터 마이그레이션 옵션을 평가해야 합니다. 버전 3.x에는 주요 변경 사항(예: 권한 시스템 재구성, 직렬화 형식 기본 변경)이 도입되었으며 프로덕션 컨텍스트를 업그레이드하기 전에 준비 컨텍스트에서 호환성 확인을 완료해야 합니다.
다국어 SDK 성숙도 차이: Python SDK는 가장 완벽한 기능을 갖추고 있으며 TypeScript SDK(0.2.0)는 여전히 빠른 반복 작업을 진행 중이며 Java 및 R SDK의 기능 적용 범위는 크게 뒤쳐져 있습니다. Python 이외의 언어를 주로 사용하는 팀의 경우 해당 SDK에서 필요한 기능이 사용 가능한지 미리 확인해야 합니다.

MLflow 사용 방법

MLflow는 개인 실험부터 기업 수준 배포까지 다양한 요구 사항을 충족하는 다양한 액세스 방법을 제공합니다.

사용 방법	사람들에게 적합	시작하는 방법	비용
자체 호스팅 오픈 소스 버전	개인 개발자, 기술팀	`pip install mlflow` + `mlflow 서버`	무료(자체 인프라)
Databricks 호스팅 에디션	Enterprise Databricks 사용자	Databricks Workspace를 통해 활성화됨	Databricks 가격으로 청구됨
코딩 에이전트 빠른 액세스	에이전트 개발자	`uvx mlflow@최신 에이전트 설정`	무료
MLflow 도우미	플랫폼 운영 및 유지보수	CLI 또는 Ollama/OpenAI 백엔드를 통해 시작	무료(LLM 통화료는 본인부담)

빠른 시작 가이드(자체 호스팅):

``배쉬

1. MLflow 설치

핍 설치 mlflow

2. 추적 서버 시작(기본 SQLite 백엔드 + 로컬 아티팩트 저장소)

mlflow 서버 --host 0.0.0.0 --port 5000

3. 훈련 코드에 추적 통합

importmlflow sklearn.ensemble에서 RandomForestClassifier 가져오기 sklearn.metrics에서 Accuracy_score 가져오기

mlflow.set_tracking_uri("http://localhost:5000")

mlflow.start_run() 사용:

매개변수 기록

mlflow.log_param("n_estimators", 100)
mlflow.log_param("max_깊이", 10)

#기차모델
모델 = RandomForestClassifier(n_estimators=100, max_length=10)
model.fit(X_train, y_train)
예측 = model.predict(X_test)

# 기록 지표
acc = 정확도_점수(y_test, preds)
mlflow.log_metric("정확도", acc)

# 모델 저장
mlflow.sklearn.log_model(모델, "모델")


**에이전트/LLM 추적 빠른 액세스(MLflow 3.14+)**:

``배쉬
# MLflow 기술을 설치하고 한 번의 클릭으로 에이전트 추적을 시작합니다.
uvx mlflow@최신 에이전트 설정

# MLflow Server 시작(위와 동일)
mlflow 서버 --host 0.0.0.0 --port 5000

``파이썬 importmlflow

mlflow.set_tracking_uri("http://localhost:5000")

한 번의 클릭으로 OpenAI 자동 추적 활성화

mlflow.openai.autolog()

openai 가져오기 OpenAI에서 클라이언트 = OpenAI() 응답 = client.responses.create( 모델="gpt-5-미니", 입력="안녕하세요!", )



**일반적인 사용 경로**: "첫 번째 로컬 실험 추적 → 모델 등록 → 배포" 순서로 점차적으로 접근하는 것이 좋습니다. 첫 주에는 `mlflow.start_run()` 및 기본 매개변수 표시 레코드를 프로젝트에 추가한 후 요구사항이 충족되는지 확인한 후 모델 등록 및 평가 프로세스를 소개합니다. 프로덕션에 배포하기 전에 백엔드 데이터베이스 마이그레이션(SQLite에서 PostgreSQL/MySQL로) 및 아티팩트 스토리지 구성(로컬 파일 시스템에서 S3/MinIO/ABS로)을 완료해야 합니다.

## MLflow 제품 가격

MLflow의 가격은 "오픈 소스 핵심 기능은 무료 + 호스팅 서비스는 종량제"라는 원칙을 기반으로 하며 기능 기반 페이월은 없습니다.

**오픈 소스 버전(모든 기능은 무료)**: Agent/LLM 추적, 평가, 프롬프트 단어 관리 AI 게이트웨이, 실험 추적, 모델 등록 및 배포 등과 같은 모든 기능을 포함하는 Apache 2.0 라이선스. 기능 제한, 사용자 제한 및 API 호출 제한이 없습니다. 3.13.0+의 오픈 소스 버전에는 이미 RBAC 권한 관리 관리 UI와 같은 엔터프라이즈 수준의 기능이 포함되어 있으므로 관리형 버전으로 업그레이드하기 위해 더 이상 비용을 지불할 필요가 없습니다.

**Databricks Hosted Edition**: 자체 인프라를 구축하고 싶지 않은 팀을 위한 것입니다. 가격 책정 논리는 Databricks 플랫폼과 일치합니다. 즉, DBU(컴퓨팅 리소스 소비) 및 스토리지 볼륨을 기준으로 비용을 지불합니다. 구체적인 가격은 Databricks 공식 가격 페이지를 기준으로 합니다(MLflow 공식 웹사이트에는 공개되지 않음). Managed 버전은 오픈소스 버전의 API 및 SDK와 완벽하게 호환되며 전환 비용이 저렴합니다.

**지원**: Open Source Edition은 GitHub 문제, Slack, 커뮤니티 메일링 목록 및 정기 근무 시간을 통해 커뮤니티 지원을 제공합니다. 엔터프라이즈 SLA 지원은 Databricks를 통해 구매됩니다.

**숨겨진 비용 알림(이전 확장)**: 가장 큰 숨겨진 비용은 소프트웨어 자체가 아니라 "프로세스 마이그레이션 + 인프라 운영 및 유지 관리"입니다. 전용 DevOps가 없는 소규모 팀의 경우 프로덕션 수준 MLflow Server(고가용성 데이터베이스, 개체 스토리지, 백업 전략, 버전 업그레이드)를 유지하려면 실제 인적 투자가 필요합니다. 셀프 호스팅을 결정하기 전에 경량 클라우드 서버의 단일 머신에서 MLflow를 실행하여 핵심 기능을 경험한 다음 가치와 수요를 확인한 후 프로덕션 수준 배포 계획을 계획하는 것이 좋습니다.

## MLflow의 응용 시나리오

MLflow의 구현 시나리오는 AI 엔지니어링의 세 가지 일반적인 단계(개발 및 디버깅, 품질 보증, 생산 제공)를 다루며 다음 네 가지 유형의 시나리오로 배포됩니다.

- **에이전트/LLM 애플리케이션 개발 및 디버깅**: MLflow Tracing을 사용하여 다단계 추론, 도구 호출 LLM 응답 및 중간 상태를 포함하여 각 에이전트 호출의 전체 추적을 캡처합니다. 개발자는 UI에서 Trace의 범위 세부 정보, 토큰 소비 및 지연 분포를 볼 수 있으며 "에이전트가 오류를 범한 단계" 또는 "가장 오래 걸린 도구 호출"을 빠르게 찾을 수 있습니다. **정량적 추론**: 추적을 사용하지 않으면 에이전트의 비정상적인 동작(반복적인 로그 추가 및 시나리오 재생)을 해결하는 데 평균 30~60분이 소요됩니다. MLflow Tracing에 액세스한 후 동일한 유형의 문제를 찾는 시간을 5~10분으로 단축할 수 있습니다. 참고: 이 공제는 내부 사용 모델을 기반으로 하며 공식적인 약속은 아닙니다.
- **LLM 품질 평가 및 회귀 테스트**: 50개 이상의 내장 평가 지표와 사용자 정의 LLM 판단기를 CI 파이프라인에 통합합니다. 각 프롬프트 또는 모델 업데이트 후에 자동으로 평가를 수행하고 UI에서 품질 변화 추세를 비교합니다. 3.14.0의 `@mlflow.test` pytest 태그를 사용하면 평가를 CI로 직접 제어할 수 있습니다(예: 정확도가 90% 미만인 경우 빌드가 실패함). **인간-기계 협업 경계**: 평가의 "합격/실패" 결정은 100% 자동화될 수 있지만 평가 데이터 세트의 생성 및 유지 관리와 "최첨단 사례 주석"에는 수동 개입이 필요합니다. 정기 회귀 테스트의 80%를 자동화하고 고위험 시나리오의 20%를 수동 검토용으로 예약하는 것이 좋습니다(검토 대기열을 통해 지정된 검토자에게 할당됨).
- **모델 버전 관리 및 프로덕션 배포**: 데이터 과학자는 한 번의 클릭으로 고품질 실험 실행을 모델 레지스트리로 승격하고 사전 출시 검증을 위해 스테이징으로 표시하며 검증을 통과한 후 MLOps 팀에 의해 프로덕션으로 승격되어 프로덕션 엔드포인트에 배포됩니다. 배포 방법은 Docker 컨테이너, Kubernetes(Helm Chart), SageMaker 등을 지원합니다. **구현 팁**: 모델 레지스트리의 단계 개선 프로세스는 CI/CD 파이프라인과 가장 잘 연결되어 있습니다(예: 스테이징 개선→프로덕션 트리거 자동 배포 스크립트). 이는 수동 작업으로 인한 버전 혼동 위험을 방지합니다.
- **AI 거버넌스 및 규정 준수 감사**: MLflow의 추적 및 실험 데이터 제공

"훈련 데이터 → 모델 버전 → 생산 추론"의 감사 링크를 완료합니다. SOC2, GDPR 또는 업계 규정 준수 요구 사항을 충족해야 하는 팀의 경우 3.13.0+의 RBAC 시스템은 역할 및 사용자 세분성에 따른 액세스 제어를 허용하며 추적 보관 메커니즘은 콜드 데이터를 추적할 수 있지만 무제한 온라인 저장소를 차지하지 않도록 보장합니다. **제한 사항**: 오픈 소스 버전은 데이터 둔감화 및 PII 감지 기능을 제공하지 않으며(Gateway Guardrails 또는 외부 도구를 통해 보완해야 함) 규정 준수 팀이 스스로 평가해야 합니다. MLflow의 감사 기록이 업계의 규제 요구 사항을 충족하는지 여부.

## MLflow 적용 그룹

MLflow의 "통합 플랫폼" 전략은 단일 개별 개발 도구가 아닌 역할 간 협업이 필요한 팀에 서비스를 제공한다고 결정합니다. 다음 세 가지 유형의 역할이 핵심 사용자 그룹입니다.

- **ML/AI 엔지니어 및 데이터 과학자**: 실험 추적을 사용하여 훈련 매개변수 및 지표를 기록하고, UI를 통해 다양한 실험의 효과를 비교하고, 클릭 한 번으로 최적의 모델을 모델 웨어하우스에 등록합니다. **전제 조건**: 기본적인 Python 프로그래밍 기술이 필요합니다. MLflow의 추적 API 및 MLflow 모델 형식에 대한 특정 이해. AutoML 또는 코드 없는 ML 플랫폼만 사용하는 사용자의 경우 MLflow의 API 통합 모델은 추가 학습 비용을 추가합니다.
- **LLM/에이전트 애플리케이션 개발자**: Tracing을 사용하여 에이전트 호출 링크를 캡처하고, 평가 모듈을 통해 LLM 출력 품질을 평가하고, AI 게이트웨이를 사용하여 다중 모델 호출 비용 및 권한을 관리합니다. **전제조건**: OpenTelemetry(Span, Trace)의 기본 개념과 에이전트 애플리케이션의 호출 토폴로지를 이해해야 합니다. 단일 모델만 사용되는 간단한 시나리오(예: OpenAI API 직접 호출)의 경우 MLflow의 관찰 가능성 향상은 제한됩니다. 도구 체인의 복잡성은 "다중 모델 + 다중 에이전트 + 다중 사용자 공동 작업"인 경우에만 실제로 반영될 수 있습니다.
- **MLOps/플랫폼 엔지니어링 팀**: MLflow 서버 배포 및 유지 관리, RBAC 권한 추적 보관 정책 및 AI 게이트웨이 라우팅 규칙 구성, 기존 CI/CD 및 모니터링 시스템에 MLflow 포함을 담당합니다. **전제 조건**: 데이터베이스 관리(PostgreSQL/MySQL), 객체 스토리지 구성(S3/MinIO) 및 컨테이너 오케스트레이션(Docker/K8s)에 대한 기본 기능이 필요합니다. 전용 인프라 팀이 없는 5~10명의 소규모 팀의 경우 자체 호스팅보다 Databricks Hosted를 권장합니다.

**경계에 맞지 않음**:
- 엔드투엔드 AutoML 기능이 필요한 비기술적 사용자에게는 적합하지 않습니다(MLflow는 AutoML 서비스가 아닌 엔지니어링 플랫폼입니다).
- 개인 수준의 실험 기록만 필요한 시나리오에는 적합하지 않습니다(W&B Free 또는 TensorBoard와 같은 가벼운 도구를 사용할 수 있음).
- 데이터 주권에 대한 극단적인 요구 사항이 있고 외부 구성 요소를 수용할 수 없는 시나리오에는 적합하지 않습니다(MLflow에는 데이터베이스와 백엔드 스토리지가 필요하며 단일 파일 기록 도구가 아닙니다).
- 순수 생산 모델 모니터링에는 적합하지 않습니다(MLflow의 모니터링 기능은 추적 및 평가에 중점을 두고 있으며 기존 모델 모니터링의 실시간 드리프트 감지 및 경보 기능이 부족합니다. 이 부분은 Arize/WhyLabs와 같은 특수 모니터링 도구와의 협력이 필요합니다).

## 요약 및 전망

MLflow 포지셔닝의 진화는 AI 엔지니어링 시장의 두 가지 추세를 명확하게 반영합니다. 첫째, "LLM/에이전트 관찰 가능성"이 팀의 가장 긴급한 요구 사항으로 "ML 실험 관리"를 대체하고 있습니다. 둘째, '통합 플랫폼 vs. 최고의 도구 조합'을 위한 전쟁이 격화되고 있습니다. MLflow는 전자를 선택했습니다. 오픈 소스 플랫폼에서 가능한 한 많은 세부 정보를 다루고 "추적 가능한 데이터 폐쇄"(실험→모델→배포→추적→평가)를 사용하여 도구 간 점프의 마찰 비용을 줄였습니다.

핵심 경쟁력은 세 가지 점에 있습니다. Apache 2.0 라이선스 오픈 소스 전략은 공급업체 종속 문제를 제거합니다. OpenTelemetry를 기반으로 한 관찰 아키텍처를 통해 기존 모니터링 생태계에 통합할 수 있습니다. 1091명 이상의 기여자가 지원하는 통합 생태계(원클릭으로 60개 이상의 프레임워크 및 20개 이상의 모델 공급자 게이트웨이). 이러한 이점은 팀이 역할 간 협업, 다중 모델 관리를 필요로 하고 공급업체 종속에 민감한 시나리오에서 특히 두드러집니다.

**현재 제한 사항 및 불확실성**:
1. **하위 모듈 깊이 대 폭**: MLflow는 추적 및 평가에 계속 투자하지만 신속한 관리 및 AI 게이트웨이는 여전히 Langfuse(LLM 관찰 가능성에 중점) 및 LiteLLM(게이트웨이에 중점)만큼 성숙하지 않습니다. 팀에 단일 기능(예: 프롬프트 관리만)만 필요한 경우 전문적인 도구가 더 나은 경험을 제공할 수 있습니다.
2. 버전 3.x의 **주요 변경 사항 위험**: 3.11→3.14의 집중 릴리스에서는 여러 가지 주요 변경 사항(권한 시스템 재작성, 직렬화 형식 기본 변경, TypeScript 패키지 이름 마이그레이션)이 발생했습니다. 2.x 프로덕션 환경을 배포한 팀의 경우 3.x로 업그레이드하려면 충분한 테스트와 검증이 필요합니다.
3. **중국 생태학 및 문서**: MLflow의 문서와 UI는 현재 영어로만 제공되며, 중국 커뮤니티 리소스와 현지화된 문서는 상대적으로 제한됩니다. 주요 업무 언어가 중국어인 팀의 경우 문서 번역 및 내부 교육에 대한 추가 투자가 필요할 수 있습니다.
4. **상용화 불확실성**: MLflow 오픈 소스 버전의 빠른 반복이 Databricks의 상업적 원동력에 의존합니까? Linux Foundation 호스팅을 통해 프로젝트가 단일 회사에 의해 제어되지 않도록 보장하지만 상대적으로 높은 비율의 Databricks 직원이 핵심 기여자입니다. Databricks의 비즈니스 초점이 변경되면 커뮤니티가 현재 반복 속도를 유지할 수 있는지 여부는 여전히 불확실합니다.

**조달/채택 위험 평가**: "먼저 오픈 소스 검증 후 필요 시 업그레이드" 전략을 채택하는 것이 좋습니다. 먼저 1~2개 팀으로 구성된 소규모 프로젝트에 MLflow의 오픈 소스 버전을 배포하고 2~4주 동안 추적 및 평가가 팀 워크플로를 준수하는지 확인합니다. 검증을 통과한 후 프로덕션 수준 배포(PostgreSQL + Object Storage + K8s Helm Chart)를 계획하고, 운영 및 유지 관리 부담을 줄이기 위해 Databricks를 통해 호스팅 버전을 구매할 필요가 있는지 평가합니다. 기업은 구매하기 전에 검증에 집중해야 합니다. ① 자체 호스팅 버전과 호스팅 버전 간의 연간 TCO 차이; ② 3.x RBAC 권한 모델이 조직의 규정 준수 요구 사항을 포괄하는지 여부 ③ LLM Tracing의 샘플링 비율과 보관 전략이 감사 데이터의 보존 기간 요구 사항을 충족할 수 있는지 여부.

관련 도구: <a href="https://www.aistarmap.com/ko-KR/aitool/hugging-face" target="_self" class="tool-link"><img src="https://res.aistarmap.com/uploads/images/tools/zh-CN/hugging-face/logo_1785413327.png" alt="포옹하는 얼굴" class="tool-logo" style="width: 20px; height: 20px; margin-right: 5px; vertical-align: middle;">포옹하는 얼굴</a>, replicate

버전 정보

MLflow 3.14.0 ：원클릭 에이전트 액세스 마법사(mlflow 에이전트 설정), Claude Code 낮은 대기 시간 지속 추적 추적 검토 대기열 pytest 회귀 테스트 통합 LLM Playground 프롬프트 단어 반복 플랫폼 및 다중 모드 추적 첨부 지원을 소개합니다. （2026-06-17）
MLflow 3.13.0 ：RBAC 역할 권한 관리 및 관리 UI, 객체 스토리지에 대한 추적 자동 보관 Helm Chart, 프로덕션 수준 K8s 배포 Hermes Agent 추적 지원을 소개합니다. （2026-06-02）
MLflow 3.12.0 ：다중 모드 추적 첨부 Codex/Gemini/Qwen 코딩 에이전트 추적은 AI Gateway 가드레일 추적 테이블 페이징을 지원합니다. 공식적인 정확한 날짜는 아직 없습니다. GitHub 릴리스를 참조하세요. （2026-05-06）
MLflow 3.11.1 ：자동 문제 감지(AI 문제 감지), 게이트웨이 예산 경보 및 한도 추적 그래픽 보기, 기본 OpenTelemetry GenAI 의미론적 규칙은 UV 패키지 관리자 식별을 지원합니다. （2026-04-08）
MLflow 2.18.0 ：2.x 시리즈의 최종 버전으로 LLM 추적 및 배포 기능이 향상되었습니다. 아직 공식적인 정확한 날짜는 없습니다. （~2026-04）
ML플로우 2.0.0 ：주요 아키텍처 리팩토링, LLM 지원 도입, 더욱 풍부한 배포 옵션 및 새로운 추적 UI. 아직 공식적인 정확한 날짜는 없습니다. （~2023-03）
ML플로우 1.0.0 ：첫 번째 안정 버전은 실험 추적, 모델 등록 및 배포라는 세 가지 핵심 기능을 설정합니다. 아직 공식적인 정확한 날짜는 없습니다. （~2020-06）

사용자 후기

후기를 불러오는 중...