OpenCompass（司南）是上海人工智能实验室推出的开源 AI训练模型 评测体系，覆盖通用语言、学科知识、安全可信、智能体与多模态等大模型能力评估场景。

OpenCompass

核心参数与统计

项目	信息
软件类别	大模型评测平台 / 评测框架
最新版本	0.5.2（2026-02-14）
开源协议	Apache-2.0
GitHub Stars	约 7,075
GitHub Forks	约 786
数据集规模	100+ 评测数据集
主导机构	上海人工智能实验室
官方榜单	https://opencompass.org.cn/
部署方式	本地框架运行 + 公开榜单查询

上表为客观规格，具体星标与数据集数量以官方仓库与榜单实时页面为准。

用户与市场认可

在所属领域逐步建立用户认知，产品能力被内容创作者和团队用于提升工作效率。 部分行业用户已将其纳入日常工作流，具体用户规模和行业采用率等数据建议参考官方最新披露。

成本优势

• C 端 / 研究者：框架完全开源免费，本地即可运行全部评测流程，主要成本来自自备的推理算力。
• 开发者 / API 评测：支持接入第三方 API 模型进行评测，此时成本取决于被测模型的调用计费，OpenCompass 本身不额外收费。
• 企业 / 私有化：可在内网完整部署，对自研模型做闭门评测，避免将模型或测试数据外发；隐性成本主要是评测算力与工程维护投入。
• 对比口径：相较自建一套评测脚本与维护数据集，OpenCompass 以统一配置复用上百个公开基准，显著降低评测体系的搭建与维护成本。

主要功能

• 多维能力评测：覆盖通用语言、学科知识、数学与逻辑推理、代码生成、长上下文等客观能力维度。
• 主观与多模态评测：提供基于模型评分的主观题评测链路，并扩展到多模态与智能体场景的评测能力。
• 广泛模型适配：同时支持本地推理框架与远程 API 模型，覆盖 Llama、Qwen、GLM、Mistral、GPT、Claude 等主流模型族。
• 可复现配置体系：以配置文件描述模型、数据集与评测方式，保证结果可被他人按相同口径复现。
• 公开榜单："司南"站点对外开放评测体系与领域榜单，包含科学智能、安全、具身智能AI 计算系统等垂类方向。

模型与版本演进

OpenCompass 采用 0.x 主干持续迭代，版本节奏围绕"评测覆盖面"与"复现稳定性"两条主线推进。

配置体系重构（0.5.0）

0.5.0 重构评测配置体系，统一客观题与主观题的评测入口，并新增多套学科与推理类基准，是近一年评测能力扩张的关键节点。

稳定性与兼容性收敛（0.5.1.post1）

0.5.1.post1 集中修复任务调度与数据集加载的兼容性问题，完善长上下文与代码能力评测集，让大规模批量评测更稳定。

主观与多模态扩展（0.5.2）

最新的 0.5.2 扩充主观评测与多模态评测链路，补充近期主流模型的标准化评测配置，并优化分布式推理与结果复现。早期的 0.4.2 则奠定了广泛模型后端适配的基础。

技术优势

• 统一口径，减少评测偏差：所有模型在同一套数据集、提示与评分规则下运行，使横向对比更可信，避免"各自跑各自基准"的口径混乱。
• 配置即评测，强复现性：评测过程由配置文件完整描述，他人可按相同设置复现结果，这是评测可信度的根本来源。
• 后端解耦，扩展性强：模型推理后端与评测逻辑分离，新增本地框架或 API 模型只需补充适配层，便于快速纳入新模型。
• 分布式调度，规模可控：支持任务切分与分布式推理，使上百个数据集的批量评测在可控时间内完成，落地时需评估自有算力规模。

如何使用

1. 从 GitHub 克隆 open-compass/opencompass 仓库并安装依赖，准备评测所需的推理有境。
2. 选择或编写配置文件，指定被测模型（本地框架或 API）与目标数据集组合。
3. 运行评测任务，框架按配置完成推理、打分与汇总，落地时需关注算力占用与任务并发设置。
4. 查看生成的评测报告，对照统一口径分析模型在各能力维度的表现。
5. 如需公开参照，可在"司南"榜单站点查询体系内已公布的领域评测结果。

产品定价

定价模式以官方实时页面为准。通常采用免费增值（Freemium）或订阅制，基础功能可免费使用。 高级功能或高频使用需付费订阅，建议用户根据实际用量评估最优方案。

应用场景

• 模型研发评测：模型团队在迭代过程中持续跟踪能力变化，用统一口径验证改进是否真实有效。
• 选型与采购评估：企业在引入外部模型前，用一致基准横向比较候选模型的学科、推理与代码能力。
• 安全与垂类评测：借助"司南"体系的安全、具身智能AI 计算系统等方向，开展面向特定场景的专项评测。
• 学术研究复现：研究者复用公开配置复现论文中的评测结果，或在统一框架内新增基准开展对照实验。

适用人群

• 大模型研发团队：需要可复现、可横向对比的内部评测基线。
• AI 选型与平台工程师：在多模型间做能力评估与采购决策。
• 安全与合规评测人员：关注安全可信与垂类领域的专项能力评测。
• 学术研究者：进行评测方法研究、基准扩展与结果复现。
• 不适配边界：若仅需一次性、轻量的单模型快速试跑，或缺乏推理算力与工程维护能力，搭建完整评测流程的投入可能偏重；这类需求更适合直接参考公开榜单结果。

总结与展望

在所属领域提供了具有竞争力的解决方案，核心价值在于降低该领域的 AI 使用门槛。

当前局限：部分高级功能需要付费订阅，免费版存在功能或使用次数限制；具体的技术细节和性能基准尚未完全公开。

相关工具：Hugging Face、Replicate

OpenCompass 是什么

OpenCompass（中文名"司南"）是上海人工智能实验室主导的开源大模型评测体系。它把大语言模型的能力评估从零散的单点测试，整理为一套覆盖通用语言、学科知识、数学推理、代码能力、安全可信、智能体与多模态的标准化流程。项目以 Apache-2.0 协议在 GitHub 开源，配套对外开放的评测榜单站点 opencompass.org.cn。

它的定位不是"又一个跑分脚本"，而是面向通用人工智能时代的开放评测基础设施：研究者可以用同一套配置复现他人结果，企业可以在自有模型上跑出可横向对比的指标，社区则通过公开榜单获得一致口径的能力参照。

竞品对比

对比维度	OpenCompass	竞品 A	竞品 B
核心差异	—	—	—
价格	—	—	—
目标用户	—	—	—

注：以上对比基于产品公开信息，实际差异以使用体验为准。

技术优势与能力边界

作为 AI 模型与 API 产品，OpenCompass 的核心能力可通过以下维度深入理解，这些维度直接影响技术选型和落地效果。

推理性能与基准表现 模型的推理性能体现在标准 NLP 任务（文本生成、代码补全、语义理解、多轮对话、信息抽取等）上的表现。建议通过公开基准测试榜单（如 MMLU、HumanEval、GSM8K 等）进行横向对比，但需注意基准测试分数与实际业务场景表现之间可能存在差距。影响实际使用体验的关键指标包括：推理速度（Token/s 或响应延迟，直接决定用户体验的流畅度）、上下文窗口长度（决定单次可处理的输入规模，影响可处理的任务复杂度）、输出质量的一致性（同一输入多次输出的结果稳定性，影响可靠性感知）。

API 兼容性与开发生态 API 与主流开发框架（LangChain、LlamaIndex、Semantic Kernel 等）的兼容深度直接影响集成开发成本和周期。建议关注以下集成维度：SDK 支持的语言种类覆盖度（Python、JavaScript、Go、Java 等主流语言是否都有官方 SDK）、流式输出支持（SSE/WebSocket 协议兼容性）、函数调用与工具使用能力（是否支持将模型输出映射为结构化函数调用）、结构化输出（JSON mode）的灵活性，以及与企业级基础设施（VPC 部署、Private Link、统一身份认证）的集成能力。完善的 API 文档和丰富的代码示例能显著降低开发入门门槛，减少集成时间成本。

部署灵活性与成本权衡 根据数据隐私要求、延迟敏感度和使用规模，OpenCompass 可选择云端 API 调用或本地部署方案。云端部署的优势在于零运维成本和弹性扩缩能力，适合使用量波动较大的场景和快速原型开发；本地部署提供完全数据主权和低延迟（无网络往返开销），但需要自行承担 GPU 等硬件采购成本和运维人力。建议以月度 API 调用量 100 万次或月费用 1000 美元为参考分界线：低于此阈值时云端 API 具有更优的成本效益和灵活性，超过后应综合评估自部署方案的总拥有成本，考虑硬件折旧、电力、运维人力等因素。

模型选型与版本策略

针对 OpenCompass 系列模型的选择，建议根据具体使用场景匹配不同版本的模型能力。大参数版本在复杂推理和多步任务上表现更优，但成本更高、延迟更长；小参数版本在日常对话、简单问答等场景中已能提供令人满意的输出质量，且成本仅为大版本的几分之一。推荐的选型策略是：在标准场景中使用中小版本降低成本，仅在需要处理复杂推理任务时才调用大版本模型，这种分级调用策略可将整体 API 成本降低 40-60% 而不显著影响输出质量。

版本信息

• OpenCompass 0.5.2 ：扩充主观评测与多模态评测链路，补充近期主流模型的标准化评测配置，优化分布式推理与结果复现的稳定性。 （2026-02-14）
• OpenCompass 0.5.1.post1 ：修复评测任务调度与数据集加载的兼容性问题，完善长上下文与代码能力评测集。 （2025-10-17）
• OpenCompass 0.5.0 ：重构评测配置体系，统一客观题与主观题评测入口，新增多套学科与推理类基准。 （2025-09-01）
• OpenCompass 0.4.2 ：扩展模型后端适配范围，覆盖更多 API 模型与本地推理框架，改进评测报告导出。 （2025-04-02）