Humanloop est une plate-forme LLMOps pour la collaboration entre experts en produits, ingénierie et domaines, couvrant l'évaluation, la gestion des invites, l'observabilité, les ensembles de données, les journaux, les évaluateurs, les agents et les flux de travail API. Les documents officiels montrent que la plate-forme Humanloop a pris fin le 08/09/2025 et convient à la recherche de produits historiques, à l'évaluation de la migration et à la comparaison de sélection de plates-formes similaires.

BoucleHumain

Paramètres et statistiques de base

Projets	Informations publiques
Positionnement du produit	Plateforme d'évaluation LLM au niveau de l'entreprise, couvrant l'évaluation, la gestion des invites et l'observabilité
Entrée officielle	https://humanloop.com/
Saisie des documents	https://humanloop.com/docs/
Version du document par défaut	v5.0
Principales capacités	Évaluateurs, ensembles de données, journaux, invites, agents, outils, flux, API/SDK, surveillance
Exemple de nom de domaine API	https://api.humanloop.com/v5
Statut de la plateforme	2025-09-08 coucher du soleil
Statut de facturation	Le journal des modifications officiel montre que la facturation a été arrêtée depuis le 30/07/2025
Statut de l'équipe	L'équipe Humanloop a rejoint Anthropic
Formulaire applicable	API de console Web, SDK Python/TypeScript et workflow documenté

Limites du produit : Humanloop n'est pas un fournisseur de modèles de base, ni un chatbot à usage général. Sa position principale se situe dans la couche de développement et de gouvernance d'applications LLM, aidant les équipes à gérer les fichiers d'invite, les ensembles de données, les journaux, les évaluateurs, la surveillance en ligne et les processus de collaboration. Depuis que la plateforme a disparu, elle ne convient actuellement pas comme cible d'approvisionnement direct pour de nouveaux projets. Il est plus adapté à la recherche de formulaires de produits LLMOps, à la référence de migration héritée et à la comparaison de solutions similaires.

Signification du statut : la page d'accueil officielle et la documentation de Humanloop font toutes deux référence à « Rejoindre Anthropic » et « Platform Sunset » comme état factuel actuel. Pour les clients historiques, l’enjeu clé est l’exportation et la migration des données ; pour la nouvelle équipe de sélection, la valeur clé est de comprendre la structure du produit qui combinait autrefois le développement piloté par les évaluations et le développement collaboratif en une seule plateforme.

Reconnaissance des utilisateurs et du marché

Positionnement au niveau de l'entreprise : les méta-informations du site officiel décrivent Humanloop comme une "plate-forme d'évaluation LLM pour les entreprises", et la page d'accueil du document souligne que les équipes produit peuvent utiliser Humanloop pour créer des fonctionnalités d'IA robustes et collaborer avec l'observabilité via l'évaluation et la gestion des invites. Ce positionnement montre qu'il ne sert pas une seule expérience Prompt, mais une fonction d'IA d'entreprise avec des exigences de version, de test, de surveillance et de collaboration en équipe.

Signaux clients et écologiques : La page d'études de cas du site officiel affiche publiquement l'entrée du cas client, où les noms de clients tels que Gusto peuvent être vérifiés dans le contenu de la page ; la page de l'entreprise YC classe également Humanloop comme une entreprise W20 et enregistre son positionnement d'outils pour le développement d'applications LLM. Humanloop conserve également publiquement les portails GitHub, X, LinkedIn, Trust Center et Media Kit, indiquant qu'il fonctionnait autrefois comme un double canal pour les développeurs et les entreprises.

Limites du marché : Humanloop ne divulgue officiellement pas publiquement le ARR total vérifiable des clients actifs, le taux de renouvellement, le volume d'utilisateurs ou l'échelle d'adoption ventilée par secteur. Les logos des clients, les cas et les informations sur les investisseurs peuvent uniquement indiquer qu'ils ont retenu l'attention des entreprises et des marchés de capitaux, et ne peuvent pas être déduits pour déterminer l'échelle de l'entreprise.

Avantage de coût

Côté C/Développeurs individuels : Les produits historiques de Humanloop ne sont pas des outils de consommation personnelle typiques. Le document met l'accent sur deux types d'entrées pour les ingénieurs et les chefs de produit. L'API, les ensembles de données de fichiers d'invite, les évaluateurs et les journaux sont plus adaptés au processus de développement d'applications LLM existantes. Après la disparition de la plateforme, les individus ou les petites équipes ne peuvent plus l'acheter et l'utiliser comme un SaaS ordinaire. Le prix historique et le quota gratuit sont soumis aux archives officielles et au contrat.

Équipe de développement/API : l'avantage en termes de coût vient principalement de la réduction des pertes de commutation : "les invites sont stockées dans des documents, les évaluations sont stockées dans des tableaux et les journaux en ligne sont stockés dans le système de surveillance". Les invites peuvent être appelées via l'API, les journaux enregistrent l'entrée, la sortie, la version et les métadonnées de chaque exécution de fichier de fonction, et les ensembles de données peuvent être précipités des journaux dans des cas d'évaluation ; cette combinaison réduit les coûts cachés de la régression de positionnement, des expériences de récurrence et de la communication entre rôles.

Scénario d'entreprise/gouvernance : la page publique de Humanloop mettait autrefois en évidence la conformité et la sécurité, le Trust Center, le SOC 2 et l'entrée du logo HIPAA, mais le SLA du prix du contrat d'entreprise, la conservation des données, la privatisation et les conditions de sécurité ne sont pas entièrement divulgués sur la page publique actuelle. Une fois la plateforme terminée, les actions d’approvisionnement devraient être transférées vers des plans de migration et des évaluations alternatives de la plateforme. Les remboursements, les exportations de données et les modalités contractuelles pour les clients historiques seront soumis aux instructions officielles de migration communiquées aux clients.

Fonctions principales

• Évaluation : l'évaluateur de Humanloop est une fonction qui juge le journal généré par LLM et peut renvoyer des résultats tels que booléen, nombre, sélection, sélection multiple ou texte. Il prend en charge l'évaluation hors ligne pendant la phase de développement et la surveillance en ligne dans les scénarios de production.
• Gestion des invites : les fichiers d'invite enregistrent les modèles, les modèles, les paramètres et les outils disponibles ; les modifications apportées aux modèles, à la température du modèle, au nombre maximal de jetons, à top_p ou aux outils généreront de nouvelles versions. Cette structure convient aux équipes qui souhaitent transformer les invites des enregistrements de discussion en actifs d'ingénierie versionnables, appelables et mesurables.
• Observabilité et journaux : les journaux capturent les entrées, les sorties, les versions utilisées et les métadonnées de chaque exécution de Function File ; les systèmes de production externes peuvent également signaler les journaux à Humanloop à des fins de suivi et d'évaluation.
• Ensembles de données : les ensembles de données sont composés de points de données, qui peuvent contenir des entrées, des messages et des cibles. La version de l'ensemble de données est immuable et l'évaluation sera liée à une version de l'ensemble de données spécifique, ce qui facilite le suivi de l'ensemble de cas de test utilisés dans une évaluation donnée.
• Source des évaluateurs : les évaluateurs prennent en charge trois types de sources de jugement : code, IA et humain. Le code est adapté à certaines règles telles que le jeton de coût, la latence et l'expression régulière ; L’IA est adaptée au jugement de qualité sémantique ; L’humain convient au feedback de référence sur les tâches à grande valeur ou à haut risque.
• Agents et outils : le journal des modifications de mai 2025 montre que Humanloop prend en charge les agents imbriqués, liant les fichiers aux agents par environnement et appelant des outils liés dans des modèles d'invite pour créer des RAG plus complexes et des flux de travail agentiques en plusieurs étapes.
• Intégration de modèles et de fournisseurs : mis à jour en mai 2025, Claude 4 Sonnet/Opus prend en charge l'inférence inter-régions AWS Bedrock et la prise en charge de DeepSeek R1 sur Bedrock, indiquant que la plate-forme disposait autrefois d'un accès multimodèle et multifournisseur comme fonctionnalités importantes.

Evolution du modèle et de la version

Nœuds principaux de Humanloop

Platform Sunset (2025-09-08) : La page d'accueil du document officiel et le journal des modifications d'août 2025 indiquent clairement que la plate-forme Humanloop expire le 2025-09-08. Après ce nœud, la plate-forme et les données sont inaccessibles en permanence, le dernier statut n'est donc pas « nouvelle version de fonctionnalité », mais « nœud de terminaison de service et de fin de migration ».

Humanloop rejoint Anthropic (2025-08-13) : La page d'accueil officielle de Humanloop annonce que l'équipe a rejoint Anthropic et remercie ses clients, investisseurs et supporters. Le journal des modifications indique également que la facturation a été arrêtée à compter du 30/07/2025 et que les remboursements au prorata des abonnements annuels seront traités par l'équipe qui contacte les clients.

Mises à jour du produit de mai 2025 (2025-05) : le journal des modifications de mai est l'un des derniers ensembles vérifiables de mises à jour intensives des fonctionnalités du produit, notamment les outils de modèles liés RAG, la prise en charge de Claude 4, l'inférence inter-régions AWS Bedrock, les invites dans le code, une observabilité plus intuitive, les journaux de trace dans l'onglet de révision, les agents imbriqués et DeepSeek R1 via Bedrock.

Version documentaire de Humanloop

Document par défaut v5.0 : Le llms.txt officiel montre que Humanloop Docs a deux versions de document, v5.0 et v4.0, et la v5.0 est la version par défaut. Le document v5 couvre l'invite, l'ensemble de données, l'évaluateur, le journal, l'agent, l'outil et d'autres objets, ce qui convient pour comprendre l'abstraction du produit de Humanloop avant le coucher du soleil.

Documentation historique v4.0 : le document v4.0 conserve les concepts et les chemins d'API de l'ancienne version, ce qui convient pour vérifier l'ancienne structure du projet lors de la migration des clients historiques. Étant donné que le statut actuel de la plate-forme a pris fin, la recherche de versions devrait se concentrer sur le jugement en matière de migration et de compatibilité plutôt que sur l'intégration de nouvelles fonctionnalités.

Avantages techniques

Unification des objets d'évaluation : Humanloop intègre l'invite, l'agent, l'outil, l'évaluateur et le flux dans le système d'exécution du fichier de fonction, et les journaux capturent l'entrée, la sortie et la version de chaque exécution. L’avantage de ce mécanisme est que l’évaluation, le suivi et la lecture tournent tous autour du même type de preuve d’exécution ; le scénario applicable concerne les applications d’IA d’entreprise avec plusieurs invites et plusieurs agents.

Le suivi en ligne et l'évaluation hors ligne partagent le même évaluateur : le même type d'évaluateur peut être utilisé pour le suivi en ligne des journaux de production et peut également être utilisé avec Dataset pour une évaluation hors ligne. Mécaniquement, l'équipe n'a pas besoin de maintenir deux ensembles de logiques de jugement complètement différents pour les tests pré-lancement et la surveillance post-lancement ; l’effet est que les normes de qualité sont plus faciles à réutiliser en permanence.

Lien de version entre l'invite et l'ensemble de données : les modifications apportées aux modèles, modèles, paramètres et outils d'invite généreront de nouvelles versions, et la version de l'ensemble de données est déterminée de manière unique par le contenu des points de données. Mécaniquement, chaque évaluation peut être retracée à la version spécifique de l'invite et à la version de l'ensemble de données ; l'effet est que la relation causale entre la modification de l'invite de remplacement du modèle et l'ajustement de l'ensemble de test est plus claire.

L'interface utilisateur et le code coexistent : la documentation officielle explique que Humanloop sert à la fois les développeurs et les experts en la matière. Mécaniquement, les ingénieurs peuvent accéder via l'API/SDK/CLI et le flux de travail de fichiers locaux, et les chefs de produit ou les experts du domaine peuvent créer des invites, exécuter des révisions et participer aux commentaires dans l'interface utilisateur ; il convient aux équipes qui ont besoin de rôles non techniques pour participer à l'acceptation de la qualité de l'IA.

Comment utiliser

Chemin d'utilisation	Entrée/objet officiel	Étapes typiques	Statut actuel
Gestion rapide	Fichier d'invite / Editeur d'invite / /v5/prompts/call	Créer une invite -> Configurer des modèles, des modèles et des paramètres -> Appel via l'interface utilisateur ou l'API -> Enregistrer les journaux -> Créer un ensemble de données basé sur les journaux	La plate-forme a le coucher du soleil et ne peut être utilisée qu'à titre de référence historique
Flux de travail d'évaluation	Évaluateurs + Ensembles de données + Exécutions d'évaluation	Créer un ensemble de données -> Définir un évaluateur de code/IA/humain -> Exécuter une évaluation sur différentes versions d'invite/agent -> Jugement global	La plateforme a pris fin et ne peut être utilisée qu'à des fins de migration et de référence de comparaison
Observation de la production	Journaux + Surveillance Évaluateurs	Journaux de rapport lors de l'exécution en externe -> Déployer des évaluateurs de surveillance -> Vérifier en permanence la dérive, la latence, le coût ou la dégradation de la qualité	La plate-forme a le coucher du soleil
Exportation des migrations	Guide de migration	Exporter les données avant le coucher du soleil ; la plateforme et les données seront inaccessibles après le 08/09/2025	La fenêtre de migration est désormais passée

Limite de mise en œuvre : si vous étudiez les méthodes de produit de Humanloop, le chemin minimum consiste à comprendre son contexte de retour à partir des quatre objets : invite, journal, ensemble de données et évaluateur ; s'il s'agit d'une migration client historique, le scénario de test de l'ensemble de données et la règle d'évaluation du modèle d'invite compatible avec l'API du fichier d'exportation doivent être les principaux actifs ; s'il s'agit d'une nouvelle sélection de projet, vous devez choisir une plateforme LLMOps/Evals similaire qui est toujours en fonctionnement.

Prix des produits

Hiérarchie des coûts	Statut public	Descriptif
Individuel/Petite équipe	Prix ​​d'achat neufs disponibles non divulgués	Il n'y a aucun forfait public disponible pour les nouveaux achats sur la page actuelle, et la plateforme a fermé le 08/09/2025 coucher du soleil
Développeur/API	Les prix historiques ne sont pas entièrement conservés sur la page publique actuelle	Les capacités API/SDK peuvent être vérifiées dans la documentation, mais la facturation est arrêtée depuis le 30/07/2025
Entreprise/Conformité	Les contrats et les remboursements sont soumis à la communication officielle du client	Les clients ayant des abonnements annuels au-delà de la date d'expiration seront contactés par l'équipe Humanloop pour des remboursements au prorata

Jugement de prix : le statut commercial actuel de Humanloop n'est pas « SaaS avec un abonnement mensuel », mais « résiliation de la plateforme d'origine après avoir rejoint Anthropic ». Par conséquent, la page de tarification historique ne doit pas être utilisée comme liste de prix achetables. Les nouveaux projets doivent déplacer l'analyse des coûts vers des abonnements à des plateformes alternatives, des frais d'appel de modèles, des frais de migration de données, la réécriture de l'évaluateur, la migration de la version Prompt et le suivi des coûts de reconstruction.

Scénarios d'application

• Gestion des versions rapides : convient aux équipes qui ont besoin de comparer différentes combinaisons de modèles, modèles, paramètres et outils. Le fichier d'invite de Humanloop sépare la configuration des données au moment de la requête, permettant ainsi à différentes versions de la même tâche d'entrer dans le processus d'évaluation.
• Évaluation de la qualité LLM : convient aux équipes qui utilisent Dataset comme bibliothèque de cas de test pour les applications d'IA. Les entrées, messages et cibles de Datapoints peuvent accepter des échantillons de défaillances réelles, des échantillons limites et des réponses standard pour prendre en charge les tests de régression.
• Observabilité et surveillance de la production : convient aux équipes qui ont déjà lancé des fonctions d'IA. Les journaux, les évaluateurs de surveillance et les structures de trace aident les équipes à observer en permanence la dérive de la qualité, la latence, les coûts, les appels d'outils et la conformité des résultats.
• Développement collaboratif multi-rôles : adapté aux équipes où les chefs de produit, les ingénieurs et les experts du domaine définissent conjointement des normes de qualité. Les évaluateurs humains et les flux de travail axés sur l'interface utilisateur permettent à des experts non techniques de participer à l'évaluation, tandis que la voie axée sur le code préserve l'automatisation de l'ingénierie.
• Expérience de workflow Agent/RAG : instructions de mise à jour de mai 2025 pour les outils de modèles liés et les agents imbriqués. Humanloop peut prendre en charge l'orchestration combinée de Prompt, Tool et Agent, ce qui convient à la conception de produits de flux de travail agents complexes dans la recherche historique.

Personnes concernées

• Équipe produit IA : l'itération rapide, l'évaluation et la surveillance en ligne doivent être placées dans la même chaîne de rétroaction. La condition préalable est qu'il existe des tâches utilisateur réelles, des échantillons de défaillance et des normes de qualité définissables.
• LLMOps/Platform Engineering Team : Nécessité de gérer uniformément les journaux, les ensembles de données, les évaluateurs et l'accès aux API pour plusieurs secteurs d'activité. Ce groupe s'intéresse davantage au suivi des versions, à la surveillance de la cohérence et aux coûts de migration.
• Experts de domaine et chefs de produit : doivent participer à l'acceptation rapide de la qualité, à l'évaluation manuelle et à la maintenance des ensembles de tests, mais ne souhaitent pas modifier directement le code. La conception axée sur l'interface utilisateur de Humanloop a servi ce type de scénario de collaboration.
• Client historique et leader de la migration : Besoin de comprendre les abstractions de fichier, de version, de journal, d'ensemble de données et d'évaluateur de Humanloop pour migrer les anciens actifs vers des plates-formes ou des systèmes internes qui sont toujours en fonctionnement.

Limite inappropriée : Humanloop n'est actuellement pas adapté à une adoption directe dans de nouveaux projets de production ; les équipes qui ne font que des démonstrations Prompt ponctuelles, sans ensembles de tests et sans exigences de surveillance en ligne auront du mal à tirer suffisamment d'avantages de sa méthodologie complète. Les organisations impliquées dans la conformité, l’audit et la conservation des données à long terme doivent donner la priorité aux alternatives qui offrent toujours des SLA et une assistance contractuels.

Résumé et Outlook

La valeur historique de Humanloop réside dans ses premiers progrès dans le développement d'applications LLM, du « débogage rapide » au « développement axé sur l'évaluation + développement collaboratif + observabilité de la production ». Son modèle objet est clair : Prompt gère la configuration, Log gère les preuves d'exécution, Dataset gère les cas de test, Evaluator gère le jugement de qualité et Evaluation/Monitoring gère le contrôle qualité avant et après la publication. Cette structure mérite toujours d’être apprise de plates-formes similaires de gouvernance LLMOps et IA.

Les limites et incertitudes actuelles sont également très claires : la plateforme cessera d'exister le 08/09/2025, la facturation s'arrêtera après le 30/07/2025, et la plateforme et les données seront inaccessibles après le 08/09/2025 ; il n'y a pas de nouveau prix d'achat exécutable sur la page publique ; les données historiques des clients, les remboursements et les détails de la migration dépendent de la fenêtre de migration officielle et de la communication avec le client ; une fois que l'équipe a rejoint Anthropic, si la gamme de produits Humanloop d'origine entrera dans Anthropic sous une nouvelle forme Le système de produits n'a pas été rendu public.

La suggestion de mise en œuvre est de traiter Humanloop comme un objet de méthodologie et de migration, plutôt que comme un nouvel objet d'approvisionnement. Les clients historiques doivent faire l'inventaire des fichiers d'invite, des versions des ensembles de données, des règles de l'évaluateur, des journaux, des chemins d'appel d'API d'exportation et des modèles d'autorisation ; les nouvelles équipes de sélection peuvent utiliser la structure fermée de Humanloop comme cadre d'acceptation pour comparer si les plateformes candidates prennent en charge les invites versionnées, les évaluations reproductibles, la surveillance en ligne, l'accès manuel aux API/SDK et les conditions de sécurité de l'entreprise.

Informations de version

• Coucher de soleil sur la plateforme Humanloop ：La documentation officielle et le journal des modifications d'août 2025 montrent que la plate-forme Humanloop a pris fin le 08/09/2025 après que l'équipe a rejoint Anthropic ; la plateforme et les données seront définitivement inaccessibles après cette date. （2025-09-08）
• Humanloop rejoint la transition Anthropique ：L'annonce officielle de Humanloop a annoncé que l'équipe avait rejoint Anthropic et a déclaré que la plate-forme était entrée dans les étapes de migration et de cession ; la facturation est arrêtée depuis le 30/07/2025. （2025-08-13）
• Mises à jour du produit de mai 2025 ：Le journal des modifications de mai 2025 annonce des mises à jour des outils de modèles liés RAG, de la prise en charge de Claude 4, de l'inférence inter-régions AWS Bedrock, des invites dans le code, des agents imbriqués et de l'observabilité. （2025-05-22）
• Documents Humanloop v5 ：L'index officiel des documents montre que la v5.0 est la version par défaut du document et qu'il n'y a pas de date de sortie officielle précise ; le document v5 couvre l'évaluation, la gestion des invites, l'observabilité, les agents, les outils, les ensembles de données et l'API. （~2025-08）