LangSmith는 LangChain, Inc.에서 출시한 LLMOps 플랫폼으로, 에이전트/LLM 애플리케이션의 추적, 모니터링, 온라인/오프라인 평가, 데이터세트, 주석 대기열, 프롬프트 허브, 플레이그라운드, 배포, 플릿 및 샌드박스를 포괄합니다. 프로토타입 디버깅부터 생산 관찰, 버전 관리까지 AI 애플리케이션을 고도화하는 데 적합합니다.

랭스미스

핵심 매개변수 및 통계

프로젝트	공공정보
제품 포지셔닝	AI 에이전트 및 LLM 관찰 가능성, 평가, 배포 플랫폼
공식 홈페이지	https://www.langchain.com/langsmith
신청포털	https://smith.langchain.com
핵심 모듈	관찰 가능성, 평가, 배포, 엔진, 플릿, 샌드박스, 프롬프트 허브, 플레이그라운드
SDK 및 액세스	Python, TypeScript, Go, Java SDK; OpenTelemetry 액세스 지원
배포 양식	클라우드, 하이브리드, 자체 호스팅; 기업은 고객 Kubernetes 클러스터에서 실행을 지원합니다
클라우드 데이터 지역	smith.langchain.com 관리 데이터는 GCP us-central-1에 저장됩니다
유료 등급	개발자, 플러스, 엔터프라이즈
무료 크레딧	개발자 계획에는 월별 기본 추적 5,000개와 월별 플릿 실행 50개가 포함됩니다
최신 공개 업데이트	LangSmith Cloud 변경 로그가 2026년 6월 8일부터 2026년 6월 12일까지

제품 경계: LangSmith는 대규모 모델 교육 플랫폼이 아니며 OpenAI, Anthropic 및 Google과 같은 모델 공급업체의 추론 API를 대체하는 역할도 담당하지 않습니다. 핵심 위치는 AI 애플리케이션 계층에 있으며 입력, 출력, 도구 호출, 컨텍스트, 대기 시간, 비용, 평가 결과 및 배포 실행 상태에 대한 엔지니어링 제어를 설정합니다.

액세스 의미: LangSmith는 LangChain/LangGraph 사용자에게 가장 원활하지만 LangChain 생태계에만 서비스를 제공하는 것은 아닙니다. 공식 제품 페이지에는 Python, TypeScript, Go, Java SDK 또는 OpenTelemetry를 통해 모든 에이전트 스택에 액세스할 수 있다고 명시되어 있으므로 단일 프레임워크에 대한 디버깅 패널이 아닌 팀 수준 LLMOps 플랫폼에 더 가깝습니다.

사용자 및 시장 인지도

엔터프라이즈 채택 신호: LangSmith 제품 페이지에는 Klarna, Vanta, Clay, Rippling, Lyft, Gong, Harvey, Abridge, Cloudflare, Bristol Myers Squibb, Workday, Cisco, Mercor, Nvidia 등과 같은 고객 로고가 표시되고 "최고의 팀이 훌륭한 에이전트를 출시할 수 있도록 지원"이라는 내용으로 프로덕션 수준 포지셔닝을 제시합니다. 이 정보는 LangSmith의 대상 고객이 이미 SaaS, 의료, 영업, 클라우드 서비스 및 대기업 기술 팀을 포괄하고 있음을 보여줍니다.

생태학적 위치: LangSmith, LangChain 및 LangGraph는 "개발 프레임워크 - 에이전트 조정 - 관찰, 평가 및 배포"의 조합을 형성합니다. LangGraph를 사용하여 장거리 링크 에이전트를 구축하는 팀의 경우 LangSmith는 추적, 데이터 세트, 실험, 배포 및 경고 결과를 처리하여 로그 플랫폼 간 전환, 테이블 평가 및 수동 재생 비용을 줄일 수 있습니다.

미공개 항목: LangChain, Inc.는 LangSmith의 고유 유료 고객 수, 수익, 갱신율 ​​또는 다양한 산업 분야의 침투율을 제품 페이지에 공개하지 않습니다. 해당 사업 규모는 공식적인 후속 공개를 통해서만 판단할 수 있으며, 고객 로고나 오픈소스 생태계의 인기 등을 통해 확실한 수치로 추론할 수는 없습니다.

비용 이점

C 측/개인 개발자: 개발자 플랜은 시트당 월 $0이며 기본 추적 5,000개/월 1개 시트, 플릿 실행/월 추적 50개, 온라인/오프라인 평가, 프롬프트 허브, 플레이그라운드, 캔버스, 주석 대기열, 모니터링 및 경고가 포함됩니다. 개인 또는 초기 PoC의 경우 먼저 엔터프라이즈 패키지를 구매하지 않고도 핵심 링크를 먼저 설정할 수 있습니다.

개발자/API 팀: Plus 플랜은 시트당 월 $39이며 기본 추적 10,000개/월 1개의 개발 규모 에이전트 배포, 최대 3개의 작업 공간, 이메일 지원, 월 500개의 플릿 실행, 엔진 및 샌드박스에 대한 액세스가 포함됩니다. 소규모 팀의 경우 좌석에서 명시적인 비용이 발생하고 초과 플릿 실행, 배포 실행 및 배포 가동 시간을 추적합니다. 암묵적인 비용은 SDK 액세스, 민감한 필드 감도 저하, 평가 데이터 세트 유지 관리 및 경보 규칙 관리에서 발생합니다.

엔터프라이즈/민영화 시나리오: 엔터프라이즈는 하이브리드/자체 호스팅, 데이터가 VPC를 벗어나지 않음, 사용자 정의 SSO/RBAC, 지원 SLA, 팀 교육, 아키텍처 지침, 사용자 정의 시트/작업 공간, 플릿, 엔진 및 샌드박스 패키지를 포함하는 사용자 정의 가격입니다. 총 기업 비용에는 구독 가격뿐만 아니라 클라우드 리소스 Kubernetes 운영 및 유지 관리, 감사, 권한 모델 및 팀 간 출시 비용도 포함됩니다.

주요 기능

• 추적: 에이전트 실행 프로세스를 단계별로 관찰하고 대기 시간, 비용 및 응답 품질에 영향을 미치는 노드를 찾습니다. 여러 라운드의 대화 및 도구 호출 시나리오의 경우 추적은 "모델이 이런 식으로 응답한 이유"를 재생 가능한 엔지니어링 증거로 분석할 수 있습니다.
• 모니터링 및 대시보드: 생산 추적을 실시간 표시기, 경보 및 품질 모니터링 패널로 요약하여 갑작스러운 비용 증가, 지연 지터, 품질 저하 및 비정상적인 도구 호출을 지속적으로 관찰하는 데 적합합니다.
• 온라인/오프라인 평가: 오프라인 평가는 큐레이트된 데이터 세트를 사용하여 게시하기 전에 프롬프트, 모델 및 검색 전략을 비교합니다. 온라인 평가는 생산 추적에 대한 안전, 형식, 품질 및 LLM-판단 규칙을 실행하고 샘플링을 사용하여 비용을 제어할 수 있습니다.
• 데이터 세트 및 실험: 온라인에서 실패한 샘플을 데이터 세트로 리플로우하고 동일한 실험 테이블에서 다양한 버전을 비교합니다. 2026년 6월, 변경 로그에는 합격/실패 결과 스캔을 용이하게 하기 위해 실험적 진행률 표시줄과 범주형 피드백 파생 백분율이 추가되었습니다.
• 주석 대기열 및 피드백: 수동 피드백 대기열 인라인 주석, 사용자 피드백 SDK 및 미리 서명된 피드백 URL을 지원합니다. 이는 수동 품질 검사 결과를 재사용 가능한 평가 자산으로 침전시키는 데 적합합니다.
• 프롬프트 허브, 플레이그라운드 및 캔버스: 프롬프트 디버깅, 버전 협업 및 자동 개선 프로세스를 지원하여 프롬프트의 직접적인 온라인 수정으로 인한 회귀 위험을 줄입니다.
• 배포: 내구성 있는 실행, 실시간 스트리밍 및 수평적 확장을 포함하는 에이전트 워크로드에 대한 배포 런타임을 제공하고 GitHub 또는 Studio에서 배포를 트리거할 수 있습니다.
• 엔진, 플릿, 샌드박스: 엔진은 추적에서 반복되는 문제를 자동으로 발견하고 근본 원인을 진단하는 데 사용됩니다. Fleet을 사용하면 회사의 여러 역할에서 에이전트를 사용할 수 있습니다. 샌드박스는 에이전트 생성 코드를 안전하게 실행하는 데 사용되며 클라우드 서비스에 연결하기 위한 에이전트 규칙을 지원합니다.

모델 및 버전의 진화

LangSmith의 메인라인 버전

2026년 6월 8일부터 2026년 6월 12일까지 클라우드 업데이트: LangSmith Cloud 변경 로그는 엔진 프로젝트 수준 지출 표시, 실험표 진행률 표시줄 대시보드 v2 막대/선형 차트를 기록하고, 배포는 Studio에서 Google ADK 에이전트를 트리거하여 샌드박스 AWS 인증 프록시와 Dockerfile 스냅샷 및 기타 업데이트를 배포합니다. 이는 LangSmith의 최근 초점이 순수한 관찰 가능성에서 배포, 샌드박싱 및 비용 관리로 확장되었음을 보여줍니다.

2026년 6월 1일부터 2026년 6월 5일까지 클라우드 업데이트: 동일한 변경 로그에 따르면 실행 규칙 웹훅 페이로드에는 추적 딥 링크, 작업공간별 엔진 지출 GA, 엔진 웹훅 비밀 순환, 샌드박스 GCP 인증 프록시, 실험 테이블 파생 비율과 같은 기능이 추가되어 자동화, 비용 투명성 및 클라우드 간 샌드박스 액세스를 강화하는 것으로 나타났습니다.

LangSmith의 역사적 이정표

2024-02-15 GA: 공식 LangChain 블로그는 LangSmith가 일반적으로 사용 가능하며 LLM 애플리케이션 개발, 모니터링, 테스트 및 평가를 위한 프로덕션 수준 플랫폼으로 자리매김했다고 발표했습니다. GA 노드는 제품이 베타 시험에서 보다 안정적인 상용화 단계로 이동한다는 것을 의미합니다.

2023-07-18 공개 베타: LangChain 공식 블로그는 LangSmith를 발표하여 개발자가 LLM 애플리케이션을 디버깅, 테스트, 평가 및 모니터링하는 데 도움이 되는 통합 플랫폼을 사용할 것을 제안했습니다. 이 노드는 LangChain 비즈니스 플랫폼의 핵심 제품으로 LangSmith의 방향을 정립했습니다.

기술적인 장점

비동기 추적 메커니즘: 제품 페이지 설명 LangSmith SDK는 비동기 콜백 핸들러를 사용하여 분산 수집기에 추적을 보내므로 애플리케이션 기본 프로세스를 차단하지 않습니다. 이 메커니즘의 장점은 관찰 플랫폼이 각 LLM 호출에 대해 동기적으로 응답할 때까지 기다리지 않고도 응용 프로그램이 프로덕션 환경에서 추적을 지속적으로 보고할 수 있다는 것입니다. 적용 가능한 시나리오는 동시성이 높은 고객 서비스 에이전트 백엔드 및 내부 지식 Q&A입니다.

OpenTelemetry 및 다중 SDK 액세스: 공식 페이지는 Python, TypeScript, Go, Java SDK 및 OpenTelemetry 경로를 제공합니다. 기계적으로 팀은 기존 관찰성 ​​사양을 재사용하고 LLM 추적을 더 큰 엔지니어링 모니터링 시스템에 통합할 수 있습니다. 그 효과는 언어 간 서비스 액세스 비용을 줄이는 것이며 다중 언어 백엔드 및 마이크로서비스 시나리오에 적합합니다.

평가 및 관찰 데이터는 동일한 소스에서 나옵니다: LangSmith는 생산 추적, 데이터 세트, 실험, 온라인 평가 및 주석 대기열을 동일한 플랫폼에 배치합니다. 기계적으로 온라인 오류 샘플은 회귀 테스트 데이터로 직접 전환될 수 있습니다. 그 결과 신속한 모델 및 검색 조정이 재현 가능한 벤치마크를 가지게 되어 반복이 빈번한 에이전트 제품 팀에 적합합니다.

배포 런타임은 관찰과 관련됩니다: 배포는 어시스턴트, 스레드 및 실행의 실행 모델을 사용하며 엔진의 실패 감지와 연결됩니다. 기계적으로 배포 후 에이전트의 실행 상태를 추적 및 엔진을 통해 직접 분석할 수 있습니다. 그 효과는 "온라인 접속 후 로그 보기"에서 "온라인 접속 후 추적 증거를 기반으로 실패 모드 찾기"로, 다중 버전 및 다중 에이전트 프로덕션 환경에 적합합니다.

사용방법

사용경로	입구	일반적인 단계	적응 시나리오
클라우드 빠른 액세스	https://smith.langchain.com	계정 등록 -> 작업공간/프로젝트 생성 -> API 키 가져오기 -> 애플리케이션에서 SDK/컨텍스트 변수 구성 -> 추적 및 대시보드 보기	개인 PoC, 소규모 팀
평가 워크플로우	LangSmith 평가 문서	데이터세트 생성 -> 평가자 구성 -> 오프라인 실험 실행 -> 실패한 샘플 리플로우 -> 온라인 평가자 설정	출시 전 품질 게이트 관리 및 온라인 품질 모니터링
배포	LangSmith 배포 문서/스튜디오	GitHub에 연결하거나 CLI 사용 -> 에이전트 배포 생성 -> 스레드/실행 구성 -> 추적 및 엔진 문제 관찰	LangGraph/Agent 프로덕션 배포
자체 호스팅/하이브리드	플랫폼 설정 문서	엔터프라이즈 계획 확인 -> Kubernetes, PostgreSQL, Redis 및 기타 인프라 준비 -> 제어 플레인 및 데이터 플레인 구성 -> SSO/RBAC에 연결	데이터가 VPC를 벗어나지 않는 강력한 규정 준수 조직

최소 구현 단계: 먼저 고객 서비스 Q&A, 영업 보조 또는 내부 지식 기반 에이전트와 같은 중요한 링크를 선택합니다. 추적을 연결하여 대기 시간, 비용, 오류 및 품질에 대한 4가지 기본 지표를 설정합니다. 그런 다음 실제 실패 추적에서 데이터 세트를 생성하고 오프라인 평가를 사용하여 확인 및 복구합니다. 마지막으로 온라인 평가를 연결하고 릴리스 프로세스에 대해 경고합니다.

제품 가격

계획	공개 가격	할당량 및 기능 포함	일반적인 위치
개발자	$0/시트/월, 사용한 만큼 지불	5,000개 기본 추적/월 50개 플릿 실행/월 시트 1개, 추적, 평가, 프롬프트 허브, 플레이그라운드, 캔버스, 주석 대기열, 모니터링, 경고	개인 및 조기검증
플러스	$39/시트/월, 사용한 만큼 지불	월별 기본 추적 10,000개 개발 규모 에이전트 배포 1개, 월별 플릿 실행 500개, 작업 영역 최대 3개, 이메일 지원, 엔진, 샌드박스	팀의 에이전트 구축 및 배포
기업	맞춤형 가격	하이브리드/자체 호스팅, 맞춤형 SSO/RBAC, SLA 지원, 아키텍처 지침 맞춤형 좌석/작업 공간, 차량/엔진/샌드박스 패키지	보안, 규정 준수, 민영화 및 대규모 팀

사용 항목 경계: 가격 책정 페이지에는 사용자 지정 배포 실행, 배포 가동 시간, Fleet 실행, 엔진, 샌드박스, 추적 이벤트와 같은 청구 차원도 나열되어 있습니다. LLM 사용량은 모델 공급업체에 의해 별도로 청구되며 LangSmith 가격에는 포함되지 않습니다. 정식 구매 전, 공식 실시간 가격 페이지 및 계약 조건을 참고하시기 바랍니다.

애플리케이션 시나리오

• 프로덕션 에이전트 관찰 가능: 다단계 에이전트가 높은 지연, 높은 비용 또는 잘못된 도구 호출을 경험할 때 LangSmith 추적은 입력, 출력 및 중간 상태를 단계별로 재생할 수 있으므로 엔지니어링 팀이 검색 프롬프트, 도구 또는 모델 선택에 문제가 있는지 여부를 찾는 데 도움이 됩니다.
• 출시 전 평가 액세스: 제품 팀은 실제 문제, 경계 샘플 및 실패 샘플을 데이터 세트로 구성하고 오프라인 평가를 사용하여 이전 및 새 프롬프트, 모델 및 RAG 전략을 비교하여 "좋은 로컬 시연 효과는 있지만 전반적인 온라인 악화"라는 회귀를 방지합니다.
• 온라인 품질 모니터링: 온라인 평가, 대시보드 및 경고를 통해 보안, 형식, 사실성, 비용 및 지연을 모니터링합니다. 고객 서비스, 의료 문서, 법률 Q&A 등 고위험 시나리오에 대한 지속적인 품질 임계값을 설정하는 데 적합합니다.
• 에이전트 배포 협업: R&D 팀은 LangSmith 배포를 사용하여 장기 실행 에이전트를 호스팅하고 실시간 스트리밍, 수평 확장, 스레드/실행 모델 및 엔진을 통해 배포 후 문제 위치 링크를 형성합니다.
• 내부 에이전트 배포: Fleet은 에이전트를 회사 수준의 기능으로 다양한 비즈니스 역할에 인계하는 동시에 엔지니어링 팀이 추적, 권한, 사용 및 품질 관리 기능을 유지할 수 있도록 하는 데 적합합니다.

해당자

• AI응용연구개발팀: 프로토타입을 온라인 서비스로 전환하고 추적, 품질, 비용, 지연 등을 지속적으로 관찰하는 것이 필요합니다. 전제 조건은 애플리케이션에 SDK 또는 OpenTelemetry를 연결할 의향이 있다는 것입니다.
• LLMOps/플랫폼 엔지니어링 팀: 각 비즈니스 라인에 분산된 도구를 구축하는 것을 방지하려면 여러 비즈니스 라인에 대한 통합 추적, 평가, 프롬프트, 데이터 세트 및 배포 인프라를 제공해야 합니다.
• 제품 및 품질팀: AI 기능 수용에 참여하려면 주관적인 경험에만 의존하기보다는 재현 가능한 데이터세트, 주석 대기열, 실험 결과 및 온라인 평가를 활용하는 것이 필요합니다.
• 엔터프라이즈 보안 및 규정 준수 팀: 하이브리드/자체 호스팅, SSO/RBAC, 데이터 상주 및 감사 기능이 필요합니다. 이 그룹은 기업 용어, 데이터 영역, 로그 보존 및 액세스 제어 세부 사항을 확인하는 데 우선순위를 두어야 합니다.

경계에 적합하지 않음: 일회성 데모만 하고 지속적인 온라인 계획이 없으며 평가 샘플이 없고 팀 협업이 필요하지 않은 프로젝트는 단기적으로 LangSmith의 전체 가치를 반영하지 못할 수 있습니다. 매우 가볍고 매우 저렴한 개인 스크립트의 경우 모델 공급자 로그 또는 로컬 구조화된 로그를 직접 사용하는 것이 더 간단할 수 있습니다.

요약 및 전망

LangSmith의 핵심 가치는 LLM/Agent 애플리케이션의 디버깅 증거, 생산 관찰, 측정 데이터, 인적 피드백 및 배포 작업 상태를 동일한 엔지니어링 플랫폼에 넣는 것입니다. 특히 생산 또는 준생산 단계에 들어간 AI 팀에 적합한 이유는 그러한 팀의 문제는 더 이상 "모델을 호출할 수 있는지 여부"가 아니라 "품질이 안정적인지, 비용을 제어할 수 있는지, 실패를 재현할 수 있는지, 온라인에 접속한 후 롤백할 수 있는지"이기 때문입니다.

현재 제한 사항과 불확실성에는 네 가지 주요 범주가 있습니다. 첫째, 엔터프라이즈, 하이브리드/자체 호스팅, SLA 및 고급 보안 조건에는 비즈니스 확인이 필요합니다. 둘째, 클라우드 데이터 영역은 GCP us-central-1로 노출되며 지역 간 또는 로컬 규정 준수 요구 사항에 따라 배포 계획 확인이 필요합니다. 셋째, Fleet, 엔진, 샌드박스, 배포와 같은 모듈은 여전히 ​​빠르게 반복되고 있으며 업그레이드하기 전에 변경 로그를 참조해야 합니다. 넷째, LLM 추론 비용은 모델 공급업체인 LangSmith가 독립적으로 청구합니다. 관찰과 거버넌스에만 도움이 될 뿐 기본 모델 비용을 없앨 수는 없습니다.

구현 제안은 1~2개의 핵심 AI 링크로 파일럿 테스트를 시작하고 추적 범위, 온라인 실패 재발률, 평가 합격률, 평균 지연 및 단위 요청 비용을 정량화하는 것입니다. 이러한 지표가 릴리스 프로세스에 안정적으로 진입할 수 있게 되면 다중 프로젝트, 다중 작업 공간 및 엔터프라이즈 수준 배포로 확장됩니다. 정식 구매를 하기 전에 가격 책정 페이지, 데이터 보존 추적 이벤트 제한 SSO/RBAC, 배포 영역 SLA 및 자체 호스팅 업그레이드 전략을 검토해야 합니다.

관련 도구: GitHub 코파일럿, 커서

버전 정보

• LangSmith Cloud 2026년 6월 8~12일 업데이트 ：2026년 6월 8~12일 LangSmith Cloud 변경 로그에서 발표한 업데이트에는 엔진 프로젝트 수준 지출 표시, 실험 진행률 표시줄 Dashboards v2 차트 배포가 Studio 및 Sandboxes AWS 인증 에이전트 및 기타 기능에서 Google ADK 에이전트 배포를 트리거합니다. （2026-06-12）
• LangSmith Cloud 2026년 6월 1~5일 업데이트 ：LangSmith Cloud 변경 로그는 규칙 웹훅 추적 딥 링크 실행, 작업공간 엔진 지출 GA, 샌드박스 GCP 인증 프록시, 실험 테이블 파생 비율 등에 대한 업데이트를 발표합니다. （2026-06-05）
• 일반적으로 사용 가능 ：공식 LangChain 블로그는 LLM 애플리케이션의 개발, 모니터링, 테스트 및 평가 기능을 강조하면서 LangSmith GA를 발표했습니다. （2024-02-15）
• LangSmith 공개 베타 ：공식 LangChain 블로그에서는 개발자가 LLM 애플리케이션을 디버그, 테스트, 평가 및 모니터링하는 데 도움이 되는 통합 플랫폼으로 자리잡은 LangSmith를 발표했습니다. （2023-07-18）