오픈컴퍼스
무료
OpenCompass(Sinan)는 Shanghai Artificial Intelligence Laboratory에서 출시한 오픈 소스
오픈컴퍼스
핵심 매개변수 및 통계
| 프로젝트 | 정보 |
|---|---|
| 소프트웨어 카테고리 | 대형 모델 평가 플랫폼/평가 프레임워크 |
| 최신 버전 | 0.5.2(2026-02-14) |
| 오픈 소스 라이센스 | 아파치-2.0 |
| GitHub 스타 | ~7,075 |
| GitHub 포크 | ~786 |
| 데이터세트 크기 | 100개 이상의 평가 데이터 세트 |
| 선도기관 | 상하이 인공 지능 연구소 |
| 공식 목록 | https://opencompass.org.cn/ |
| 배포 방법 | 로컬 프레임워크 작업 + 공개 목록 쿼리 |
위 표는 객관적인 사양입니다. 구체적인 별 수와 데이터 세트 수는 공식 창고 및 실시간 순위 페이지에 따릅니다.
사용자 및 시장 인지도
현장에서 점차적으로 사용자 인지도를 구축하고, 콘텐츠 제작자와 팀은 제품 기능을 사용하여 업무 효율성을 향상시킵니다. 일부 업계 사용자는 이를 일상 작업 흐름에 통합했습니다. 특정 사용자 규모 및 업계 채택률 데이터에 대한 최신 공식 공개를 참조하는 것이 좋습니다.
비용 이점
- C 측/연구원: 프레임워크는 완전히 오픈 소스이며 무료이며 모든 평가 프로세스를 로컬에서 실행할 수 있습니다. 주요 비용은 자체적으로 준비된 추론 컴퓨팅 성능에서 비롯됩니다.
- 개발자/API 평가: 평가를 위해 타사 API 모델에 대한 액세스를 지원합니다. 이때 비용은 테스트 모델의 통화과금에 따라 달라지며, OpenCompass 자체에서는 추가 비용을 청구하지 않습니다.
- 기업/민영화: 인트라넷에 완전히 배포할 수 있으며 자체 개발 모델을 비공개로 평가하여 모델이나 테스트 데이터를 내보내지 않아도 됩니다. 숨겨진 비용은 주로 평가 컴퓨팅 성능과 엔지니어링 유지 관리 투자입니다.
- 비교 능력: 자체 구축된 평가 스크립트 세트 및 유지 관리 데이터 세트를 구축하는 것과 비교하여 OpenCompass는 통합 구성으로 수백 개의 공개 벤치마크를 재사용하여 평가 시스템 구축 및 유지 관리 비용을 크게 절감합니다.
주요 기능
- 다차원 능력 평가: 일반 언어, 주제 지식, 수학적 및 논리적 추론, 코드 생성, 긴 맥락 등 객관적인 능력 차원을 다룹니다.
- 주관적 및 다중 모달 평가: 모델 채점을 기반으로 주관적인 질문 평가 링크를 제공하고 평가 기능을 다중 모드 및 에이전트 시나리오로 확장합니다.
- 광범위한 모델 적응: Llama, Qwen, GLM, Mistral, GPT 및 Claude와 같은 주류 모델 계열을 포함하여 로컬 추론 프레임워크와 원격 API 모델을 모두 지원합니다.
- 재현 가능한 구성 시스템: 동일한 구경을 가진 다른 사람이 결과를 재현할 수 있도록 구성 파일을 사용하여 모델, 데이터 세트 및 평가 방법을 설명합니다.
- 공개 목록: "신안" 사이트의 평가 시스템 및 필드 목록은 과학 지능, 보안, 구현된 지능형 AI 컴퓨팅 시스템 등 수직 범주를 포함하여 외부 세계에 공개됩니다.
모델 및 버전의 진화
OpenCompass는 0.x 백본을 사용하여 지속적으로 반복하며 버전 리듬은 "평가 적용 범위"와 "재생 안정성"이라는 두 가지 주요 라인을 중심으로 승격됩니다.
구성 시스템 재구성(0.5.0)
0.5.0은 평가 구성 시스템을 재구성하고, 객관적이고 주관적인 질문에 대한 평가 입구를 통합하고, 여러 주제 및 추론 벤치마크 세트를 추가합니다. 이는 지난 1년간 평가역량 확장의 핵심노드이다.
안정성과 호환성 융합 (0.5.1.post1)
0.5.1.post1은 작업 스케줄링과 데이터 세트 로딩 간의 호환성 문제를 해결하는 데 중점을 두고, 긴 컨텍스트 및 코드 기능 평가 세트를 개선하여 대규모 배치 평가를 보다 안정적으로 만듭니다.
주관적 및 다중 모드 확장(0.5.2)
최신 버전 0.5.2는 주관적 평가와 다중 모드 평가 링크를 확장하고, 최근 주류 모델의 표준화된 평가 구성을 보완하며, 분산 추론 및 결과 재현을 최적화합니다. 초기 0.4.2는 광범위한 모델 백엔드 적응을 위한 기반을 마련했습니다.
기술적인 장점
- 평가 편향을 줄이기 위한 통합된 범위: 모든 모델은 동일한 데이터 세트, 프롬프트 및 채점 규칙 세트에 따라 실행되므로 수평적 비교의 신뢰성을 높이고 "각각 자체 벤치마크를 실행"하는 범위의 혼란을 방지합니다.
- 구성은 평가, 강력한 재현성을 의미합니다: 평가 프로세스는 구성 파일에 완전히 설명되어 있으며 다른 사람들도 동일한 설정으로 결과를 재현할 수 있습니다. 이것이 평가 신뢰성의 근본적인 원천이다.
- 백엔드 분리, 강력한 확장성: 모델 추론 백엔드는 평가 논리와 분리됩니다. 새로운 로컬 프레임워크나 API 모델을 추가할 때 적응 레이어만 추가하면 새 모델을 신속하게 포함할 수 있습니다.
- 분산 일정, 제어 가능한 규모: 작업 분할 및 분산 추론을 지원하므로 수백 개의 데이터 세트에 대한 일괄 평가를 제어 가능한 시간 내에 완료할 수 있습니다. 이를 구현할 때 자체 컴퓨팅 성능의 규모를 평가해야 합니다.
사용방법
- GitHub에서 open-compass/opencompass 저장소를 복제하고 종속성을 설치하여 평가에 필요한 추론 컨텍스트를 준비합니다.
- 테스트 중인 모델(로컬 프레임워크 또는 API)과 대상 데이터 세트의 조합을 지정하기 위해 구성 파일을 선택하거나 작성합니다.
- 평가 작업을 실행합니다. 프레임워크는 구성에 따라 추론, 채점 및 요약을 완료합니다. 구현 시 컴퓨팅 전력 소비 및 작업 동시성 설정에 주의해야 합니다.
- 생성된 평가 보고서를 보고, 각 능력 차원에서 분석 모델의 성능을 통일된 구경으로 비교합니다.
- 공개 참고가 필요한 경우 공개된 현장 평가 결과를 "신안" 목록 사이트에서 시스템에 확인하실 수 있습니다.
제품 가격
가격 모델은 공식 실시간 페이지를 따릅니다. 일반적으로 부분 유료화(Freemium)나 구독제(Subscription System)를 사용하며 기본 기능은 무료로 사용할 수 있다. 고급 기능을 사용하거나 빈도가 높은 경우에는 유료 구독이 필요하며, 사용자는 실제 사용량을 바탕으로 최적의 솔루션을 평가하는 것이 좋습니다.
애플리케이션 시나리오
- 모델 R&D 평가: 모델 팀은 반복 프로세스 중에 기능 변화를 계속 추적하고 통합된 역량을 사용하여 개선 사항이 실제적이고 효과적인지 확인합니다.
- 선정 및 조달 평가: 기업은 외부 모델을 도입하기 전에 일관된 벤치마크를 사용하여 후보 모델의 주제, 추론 및 코딩 능력을 수평적으로 비교합니다.
- 보안 및 수직적 평가: "Sinan" 시스템의 보안 및 내장된 지능형 AI 컴퓨팅 시스템의 도움을 받아 특정 시나리오에 대한 특별 평가가 수행됩니다.
- 학술 연구 재현: 연구원은 공개 구성을 재사용하여 논문의 평가 결과를 재현하거나 통합 프레임워크 내에 벤치마크를 추가하여 통제된 실험을 수행합니다.
해당자
- 대형모델연구개발팀: 재현 가능하고 수평적으로 비교할 수 있는 내부 평가 기준이 필요합니다.
- AI 선택 및 플랫폼 엔지니어: 여러 모델 간의 기능 평가 및 구매 결정을 내립니다.
- 보안 및 규정 준수 평가자: 보안, 신뢰성 및 수직 분야의 특수 능력 평가에 중점을 둡니다.
- 학술연구자: 평가방법 연구, 벤치마크 확장 및 결과 복제를 수행합니다.
- 부적합한 경계: 단일 모델에 대한 일회성, 경량, 빠른 테스트 실행만 필요하거나 추론 컴퓨팅 성능 및 엔지니어링 유지 관리 기능이 부족한 경우 전체 평가 프로세스를 구축하는 데 투자하는 비용이 클 수 있습니다. 그러한 요구는 공개 목록 결과를 직접 참조하는 것이 더 적합합니다.
요약 및 전망
해당 분야에서 경쟁력 있는 솔루션을 제공하며, 이 분야에서 AI 활용의 문턱을 낮추는 것이 핵심 가치입니다.
현재 제한 사항: 일부 고급 기능에는 유료 구독이 필요하며 무료 버전에는 기능 또는 사용 제한이 있습니다. 구체적인 기술 세부 사항과 성능 벤치마크는 아직 완전히 공개되지 않았습니다.
관련 도구: 
포옹하는 얼굴, replicate
오픈컴패스란 무엇인가
OpenCompass(중국어 이름 "Si Nan")는 Shanghai Artificial Intelligence Laboratory가 주도하는 오픈 소스 대형 모델 평가 시스템입니다. 분산된 단일 지점 테스트에서 일반 언어, 주제 지식, 수학적 추론, 코딩 능력, 보안 및 신뢰성, 에이전트 및 다중 양식을 다루는 일련의 표준화된 프로세스로 대규모 언어 모델의 능력 평가를 구성합니다. 이 프로젝트는 Apache-2.0 프로토콜에 따라 GitHub에서 오픈 소스로 제공되며 공개 평가 목록 사이트인 opencompass.org.cn을 갖추고 있습니다.
이는 "또 다른 벤치마킹 스크립트"로 자리매김하지 않고 일반 인공 지능 시대를 위한 개방형 평가 인프라로 자리매김했습니다. 연구자는 동일한 구성 세트를 사용하여 다른 사람의 결과를 재현할 수 있고, 기업은 자체 모델에서 수평적으로 비교할 수 있는 지표를 실행할 수 있으며, 커뮤니티는 공개 목록을 통해 일관된 수준의 기능 참조를 얻을 수 있습니다.
경쟁제품 비교
| 비교 치수 | 오픈컴퍼스 | 경쟁사 A | 경쟁사 B |
|---|---|---|---|
| 핵심 차이점 | — | — | — |
| 가격 | — | — | — |
| 대상 사용자 | — | — | — |
참고: 위 비교는 제품 공개 정보를 기반으로 하며 실제 차이점은 사용자 경험을 기반으로 합니다.
기술적인 장점과 역량의 경계
AI 모델 및 API 제품으로서 OpenCompass의 핵심 기능은 기술 선택 및 구현 효과에 직접적인 영향을 미치는 다음 차원을 통해 깊이 이해할 수 있습니다.
추론 성능 및 벤치마크 성능 모델의 추론 성능은 표준 NLP 작업(텍스트 생성, 코드 완성, 의미 이해, 다중 회전 대화, 정보 추출 등)에 대한 성능에 반영됩니다. 공개 벤치마크 테스트 목록(예: MMLU, HumanEval, GSM8K 등)을 통해 수평적 비교를 수행하는 것이 좋지만, 벤치마크 테스트 점수와 실제 비즈니스 시나리오 성능 간에 차이가 있을 수 있다는 점에 유의하시기 바랍니다. 실제 사용자 경험에 영향을 미치는 주요 지표로는 추론 속도(사용자 경험의 부드러움을 직접적으로 결정하는 토큰/초 또는 응답 지연), 컨텍스트 창 길이(한 번에 처리할 수 있는 입력 크기를 결정하고 처리할 수 있는 작업의 복잡성에 영향을 미침), 출력 품질의 일관성(동일한 입력의 여러 출력 결과의 안정성, 신뢰도 인식에 영향을 줌) 등이 있습니다.
API 호환성 및 개발 생태계 주류 개발 프레임워크(LangChain, LlamaIndex, Semantic Kernel 등)와의 API 호환성 깊이는 통합 개발 비용과 주기에 직접적인 영향을 미칩니다. SDK에서 지원하는 언어 유형의 적용 범위(Python, JavaScript, Go 및 Java와 같은 주류 언어에 공식 SDK가 있는지 여부), 스트리밍 출력 지원(SSE/WebSocket 프로토콜 호환성), 함수 호출 및 도구 사용 기능(구조화된 함수 호출에 대한 모델 출력 매핑 지원 여부), 구조화된 출력의 유연성(JSON 모드), 엔터프라이즈 수준 인프라와의 통합 기능(VPC 배포, 개인 링크, 통합 ID 인증)과 같은 통합 차원에 주의하는 것이 좋습니다. 완전한 API 문서와 풍부한 코드 예제는 개발 진입 장벽을 크게 낮추고 통합 시간과 비용을 줄일 수 있습니다.
배포 유연성과 비용 절충 데이터 개인 정보 보호 요구 사항, 대기 시간 민감도 및 사용 규모에 따라 OpenCompass는 클라우드 API 호출 또는 온프레미스 배포 옵션 중에서 선택할 수 있습니다. 클라우드 배포의 장점은 운영 및 유지 관리 비용이 없고 탄력적인 확장성이 있다는 것입니다. 이는 사용량 변동이 크고 신속한 프로토타입 개발이 있는 시나리오에 적합합니다. 로컬 배포는 완전한 데이터 주권과 짧은 대기 시간(네트워크 왕복 오버헤드 없음)을 제공하지만 GPU와 같은 하드웨어 구입 비용과 운영 및 유지 관리 인력을 부담해야 합니다. 월간 API 호출량 100만 회 또는 월 사용료 US$1,000를 기준 구분선으로 사용하는 것이 좋습니다. 이 기준점 미만에서는 클라우드 API가 더 나은 비용 효율성과 유연성을 갖습니다. 이 임계값을 초과한 후에는 하드웨어 감가상각, 전기, 운영 및 유지 관리 인력 등의 요소를 고려하여 자체 배포 솔루션의 총 소유 비용을 종합적으로 평가해야 합니다.
모델 선정 및 버전 전략
OpenCompass 시리즈 모델을 선택하려면 특정 사용 시나리오에 따라 다양한 버전의 모델 기능을 일치시키는 것이 좋습니다. 대규모 매개변수 버전은 복잡한 추론 및 다단계 작업에서 더 나은 성능을 발휘하지만 비용이 더 높고 지연 시간이 더 깁니다. 작은 매개변수 버전은 이미 일상 대화, 간단한 질문과 답변 등의 시나리오에서 만족스러운 출력 품질을 제공할 수 있으며 비용도 대형 버전의 일부에 불과합니다. 권장되는 선택 전략은 비용을 줄이기 위해 표준 시나리오에서 소형 및 중형 버전을 사용하고, 복잡한 추론 작업을 처리해야 하는 경우에만 대형 버전 모델을 호출하는 것입니다. 이 계층적 호출 전략은 출력 품질에 큰 영향을 주지 않고 전체 API 비용을 40~60% 줄일 수 있습니다.
버전 정보
- 오픈컴퍼스 0.5.2 ：주관적 평가 및 다중 모드 평가 링크를 확장하고, 최근 주류 모델의 표준화된 평가 구성을 보완하며, 분산 추론 및 결과 재현의 안정성을 최적화합니다.
- 오픈컴패스 0.5.1.post1 ：평가 작업 예약과 데이터 세트 로드 간의 호환성 문제를 수정하고 긴 컨텍스트 및 코드 기능 평가 세트를 개선했습니다.
- 오픈컴퍼스 0.5.0 ：평가 구성 시스템을 재구성하고, 객관적인 질문과 주관적인 질문에 대한 평가 입구를 통합하고, 여러 주제 세트와 추론 벤치마크를 추가합니다.
- 오픈컴패스 0.4.2 ：더 많은 API 모델과 로컬 추론 프레임워크를 포괄하도록 모델 백엔드 적응 범위를 확장하고 평가 보고서 내보내기를 개선합니다.
사용자 후기