Humanloop ist eine LLMOps-Plattform für die Zusammenarbeit von Produkt-, Engineering- und Fachexperten, die Evaluierung, Prompt-Management, Beobachtbarkeit, Datensätze, Protokolle, Evaluatoren, Agenten und API-Workflows abdeckt. Aus offiziellen Dokumenten geht hervor, dass die Humanloop-Plattform am 08.09.2025 eingestellt wird und sich für historische Produktrecherchen, Migrationsbewertungen und ähnliche Plattformauswahlvergleiche eignet.

Humanloop

Kernparameter und Statistiken

Projekte	Öffentliche Informationen
Produktpositionierung	LLM-Bewertungsplattform auf Unternehmensebene, die Bewertung, schnelles Management und Beobachtbarkeit abdeckt
Offizieller Eingang	https://humanloop.com/
Dokumenteneingang	https://humanloop.com/docs/
Standarddokumentversion	v5.0
Hauptfunktionen	Evaluatoren, Datensätze, Protokolle, Eingabeaufforderungen, Agenten, Tools, Flows, API/SDK, Überwachung
API-Beispieldomänenname	https://api.humanloop.com/v5
Plattformstatus	08.09.2025 Sonnenuntergang
Rechnungsstatus	Aus dem offiziellen Changelog geht hervor, dass die Abrechnung seit dem 30.07.2025 eingestellt wurde
Teamstatus	Das Humanloop-Team ist Anthropic	beigetreten
Anwendbares Formular	Webkonsolen-API, Python/TypeScript SDK und dokumentierter Workflow

Produktgrenzen: Humanloop ist weder ein Basismodellanbieter noch ein Allzweck-Chatbot. Seine Kernposition liegt in der LLM-Anwendungsentwicklungs- und Governance-Ebene und unterstützt Teams bei der Verwaltung von Eingabeaufforderungsdateien, Datensätzen, Protokollen, Evaluatoren, Online-Überwachungs- und Kollaborationsprozessen. Da die Plattform abgelaufen ist, eignet sie sich derzeit nicht als direktes Beschaffungsziel für neue Projekte. Es eignet sich besser für die Recherche von LLMOps-Produktformen, als Referenz für Legacy-Migrationen und für den Vergleich ähnlicher Lösungen.

Statusbedeutung: Sowohl auf der offiziellen Homepage als auch in der Dokumentation von Humanloop wird auf „Join Anthropic“ und „Platform Sunset“ als aktueller Sachstand verwiesen. Für historische Kunden ist das Hauptproblem der Datenexport und die Datenmigration. Für das neue Auswahlteam liegt der Schlüsselwert darin, die Produktstruktur zu verstehen, die einst bewertungsgesteuerte Entwicklung und kollaborative Entwicklung in einer Plattform vereinte.

Benutzer- und Markterkennung

Positionierung auf Unternehmensebene: Die offiziellen Website-Metainformationen beschreiben Humanloop als „LLM-Bewertungsplattform für Unternehmen“, und auf der Homepage des Dokuments wird betont, dass Produktteams Humanloop verwenden können, um robuste KI-Funktionen zu erstellen und mit Observability durch Evaluierung und schnelles Management zusammenzuarbeiten. Diese Positionierung zeigt, dass es sich nicht um ein einzelnes Prompt-Experiment handelt, sondern um eine Unternehmens-KI-Funktion mit Versions-, Test-, Überwachungs- und Teamzusammenarbeitsanforderungen.

Kunden- und Umweltsignale: Auf der Fallstudienseite der offiziellen Website wird der Kundenfalleingang öffentlich angezeigt, wo Kundennamen wie Gusto im Seiteninhalt überprüft werden können; Auf der YC-Unternehmensseite wird Humanloop außerdem als W20-Unternehmen eingestuft und seine Tool-Positionierung für die LLM-Anwendungsentwicklung erfasst. Humanloop betreibt außerdem öffentlich die Portale GitHub,

Marktgrenzen: Humanloop veröffentlicht offiziell keine überprüfbaren Gesamt-ARR-Werte für aktive Kunden, die Verlängerungsrate, das Benutzervolumen oder den nach Branchen aufgeschlüsselten Akzeptanzumfang. Kundenlogos, Fälle und Anlegerinformationen können nur darauf hinweisen, dass sie von Unternehmen und Kapitalmärkten beachtet wurden, und können nicht zur Bestimmung des Geschäftsumfangs herangezogen werden.

Kostenvorteil

C-Seite/Einzelentwickler: Die historischen Produkte von Humanloop sind keine typischen Tools für den persönlichen Konsum. Das Dokument betont zwei Arten von Einstiegen für Ingenieure und Produktmanager. API, Prompt-File-Datensätze, Evaluatoren und Protokolle eignen sich besser für den Entwicklungsprozess bestehender LLM-Anwendungen. Nach Ablauf der Plattform können Einzelpersonen oder kleine Teams sie nicht mehr als gewöhnliches SaaS erwerben und nutzen. Der historische Preis und das kostenlose Kontingent unterliegen dem offiziellen Archiv und Vertrag.

Entwickler/API-Team: Der Kostenvorteil ergibt sich hauptsächlich aus der Reduzierung des Schaltverlusts von „Eingabeaufforderungen werden in Dokumenten gespeichert, Auswertungen werden in Tabellen gespeichert und Online-Protokolle werden im Überwachungssystem gespeichert“. Eingabeaufforderungen können über die API aufgerufen werden, Protokolle zeichnen die Eingabe, Ausgabe, Version und Metadaten jeder Funktionsdateiausführung auf und Datensätze können aus Protokollen in Auswertungsfälle umgewandelt werden; Diese Kombination reduziert die versteckten Kosten für Positionierungsregression, Wiederholungsexperimente und rollenübergreifende Kommunikation.

Unternehmens-/Governance-Szenario: Auf der öffentlichen Seite von Humanloop wurden einst Compliance und Sicherheit, Trust Center, SOC 2 und HIPAA-Logoeintrag hervorgehoben, aber der SLA für den Unternehmensvertrag, die Datenaufbewahrung, die Privatisierung und die Sicherheitsbedingungen werden auf der aktuellen öffentlichen Seite nicht vollständig offengelegt. Nach Ablauf der Plattform sollten Beschaffungsmaßnahmen auf Migrationspläne und alternative Plattformbewertungen übertragen werden. Rückerstattungen, Datenexporte und Vertragsvereinbarungen für historische Kunden unterliegen den offiziellen Migrationsanweisungen, die den Kunden mitgeteilt werden.

Hauptfunktionen

• Bewertung: Der Evaluator von Humanloop ist eine Funktion, die das von LLM generierte Protokoll beurteilt und Ergebnisse wie boolesche Werte, Zahlen, Auswahl, Mehrfachauswahl oder Text zurückgeben kann. Es unterstützt die Offline-Bewertung in der Entwicklungsphase und die Online-Überwachung in Produktionsszenarien.
• Prompt-Management: Prompt-Dateien speichern Vorlagen, Modelle, Parameter und verfügbare Tools; Änderungen an Vorlagen, Modelltemperatur, maximalen Token, top_p oder Tools generieren neue Versionen. Diese Struktur eignet sich für Teams, um Eingabeaufforderungen aus Chat-Aufzeichnungen in versionierbare, abrufbare und messbare technische Assets umzuwandeln.
• Beobachtbarkeit und Protokolle: Protokolle erfassen die Eingaben, Ausgaben, verwendeten Versionen und Metadaten jeder Ausführung der Funktionsdatei; Auch externe Produktionssysteme können Protokolle zur Überwachung und Auswertung an Humanloop melden.
• Datensätze: Datensätze bestehen aus Datenpunkten, die Eingaben, Nachrichten und Ziele enthalten können. Die Datensatzversion ist unveränderlich und die Bewertung wird an eine bestimmte Datensatzversion gebunden, sodass leicht nachverfolgt werden kann, welche Testfälle in einer bestimmten Bewertung verwendet wurden.
• Evaluatorenquelle: Evaluatoren unterstützen drei Arten von Beurteilungsquellen: Code, KI und Mensch. Der Code ist für bestimmte Regeln wie Kostentoken, Latenz und Regex geeignet. KI eignet sich zur semantischen Qualitätsbeurteilung; Der Mensch eignet sich für das Goldstandard-Feedback von Aufgaben mit hohem Wert oder hohem Risiko.
• Agenten und Tools: Das Änderungsprotokoll vom Mai 2025 zeigt, dass Humanloop verschachtelte Agenten unterstützt, Dateien nach Umgebung mit Agenten verknüpft und verknüpfte Tools in Prompt-Vorlagen aufruft, um komplexere RAGs und mehrstufige Agenten-Workflows zu erstellen.
• Modell- und Lieferantenintegration: Claude 4 Sonnet/Opus wurde im Mai 2025 aktualisiert und unterstützt die regionsübergreifende Inferenz von AWS Bedrock und DeepSeek R1-Unterstützung auf Bedrock, was darauf hinweist, dass die Plattform einst über den Zugriff auf mehrere Modelle und mehrere Anbieter als wichtige Funktionen verfügte.

Modell- und Versionsentwicklung

Hauptknoten von Humanloop

Plattform-Untergang (08.09.2025): Auf der offiziellen Dokument-Homepage und im Changelog vom August 2025 heißt es eindeutig, dass die Humanloop-Plattform am 08.09.2025 untergeht. Nach diesem Knoten sind die Plattform und die Daten dauerhaft nicht mehr zugänglich, sodass der neueste Status nicht „Neue Funktionsversion“, sondern „Dienstbeendigungs- und Migrationsabschlussknoten“ lautet.

Humanloop tritt Anthropic bei (13.08.2025): Die offizielle Homepage von Humanloop gibt bekannt, dass das Team Anthropic beigetreten ist und bedankt sich bei Kunden, Investoren und Unterstützern. Im Änderungsprotokoll heißt es außerdem, dass die Abrechnung ab dem 30.07.2025 eingestellt wurde und anteilige Rückerstattungen für Jahresabonnements von dem Team abgewickelt werden, das die Kunden kontaktiert.

Produktaktualisierungen vom Mai 2025 (2025-05): Das Änderungsprotokoll vom Mai ist einer der letzten überprüfbaren Satz intensiver Produktfähigkeitsaktualisierungen, einschließlich RAG-verknüpfter Vorlagentools, Claude 4-Unterstützung, regionsübergreifender Inferenz von AWS Bedrock, Eingabeaufforderungen im Code, intuitiverer Beobachtbarkeit, Ablaufverfolgungsprotokollen auf der Registerkarte „Überprüfung“, verschachtelter Agenten und DeepSeek R1 über Bedrock.

Dokumentationsversion von Humanloop

v5.0-Standarddokument: Die offizielle „llms.txt“ zeigt, dass Humanloop Docs zwei Dokumentversionen hat, v5.0 und v4.0, und v5.0 ist die Standardversion. Das v5-Dokument umfasst Eingabeaufforderungen, Datensätze, Evaluatoren, Protokolle, Agenten, Tools und andere Objekte, die zum Verständnis der Produktabstraktion von Humanloop vor Sonnenuntergang geeignet sind.

V4.0-Historische Dokumentation: Das V4.0-Dokument behält die Konzepte und API-Pfade der alten Version bei, was zur Überprüfung der alten Projektstruktur bei der Migration historischer Kunden geeignet ist. Da der aktuelle Plattformstatus beendet wurde, sollte sich die Versionsrecherche auf die Beurteilung der Migration und Kompatibilität und nicht auf die Integration neuer Funktionen konzentrieren.

Technische Vorteile

Vereinheitlichung von Bewertungsobjekten: Humanloop integriert Eingabeaufforderung, Agent, Tool, Evaluator und Flow in das Ausführungssystem der Funktionsdatei, und Protokolle erfassen die Eingabe, Ausgabe und Version jeder Ausführung. Der Vorteil des Mechanismus besteht darin, dass sich die Auswertung, Überwachung und Wiedergabe alle um dieselbe Art von Ausführungsnachweisen drehen; Das anwendbare Szenario sind Unternehmens-KI-Anwendungen mit mehreren Eingabeaufforderungen und mehreren Agenten.

Online-Überwachung und Offline-Auswertung nutzen denselben Evaluator: Derselbe Evaluator-Typ kann für die Online-Überwachung von Produktionsprotokollen verwendet werden und kann auch mit Dataset für die Offline-Auswertung verwendet werden. Mechanisch gesehen muss das Team nicht zwei völlig unterschiedliche Beurteilungslogiken für Tests vor dem Start und für die Überwachung nach dem Start beibehalten. Der Effekt besteht darin, dass Qualitätsstandards leichter kontinuierlich wiederverwendet werden können.

Versionsverknüpfung zwischen Eingabeaufforderung und Datensatz: Änderungen an Eingabeaufforderungsvorlagen, Modellen, Parametern und Tools generieren neue Versionen, und die Datensatzversion wird eindeutig durch den Inhalt der Datenpunkte bestimmt. Mechanisch kann jede Bewertung auf die spezifische Prompt-Version und Datensatzversion zurückgeführt werden; Der Effekt besteht darin, dass der kausale Zusammenhang zwischen der Modellersetzung, der sofortigen Änderung und der Anpassung des Testsatzes klarer ist.

UI-first und Code-first koexistieren: Die offizielle Dokumentation erklärt, dass Humanloop sowohl Entwicklern als auch Fachexperten dient. Mechanisch gesehen können Ingenieure über API/SDK/CLI und den lokalen Datei-Workflow darauf zugreifen, und Produktmanager oder Fachexperten können über die Benutzeroberfläche Eingabeaufforderungen erstellen, Überprüfungen durchführen und an Feedback teilnehmen. Es eignet sich für Teams, die nicht-technische Rollen benötigen, um an der KI-Qualitätsakzeptanz teilzunehmen.

Wie man es benutzt

Nutzungspfad	Offizieller Eingang/Objekt	Typische Schritte	Aktueller Stand
Schnelles Management	Eingabeaufforderungsdatei / Eingabeaufforderungseditor / /v5/prompts/call	Eingabeaufforderung erstellen -> Vorlagen, Modelle und Parameter konfigurieren -> Aufruf über UI oder API -> Protokolle aufzeichnen -> Datensatz basierend auf Protokollen erstellen	Die Plattform hat Sonnenuntergang und kann nur als historische Referenz verwendet werden
Bewertungsworkflow	Evaluatoren + Datensätze + Evaluierungsläufe	Datensatz erstellen -> Code/KI/menschlichen Evaluator definieren -> Bewertung für verschiedene Eingabeaufforderungs-/Agentenversionen ausführen -> Beurteilung zusammenfassen	Die Plattform ist abgelaufen und kann nur für Migrations- und Vergleichsreferenzen verwendet werden
Produktionsbeobachtung	Protokolle + Überwachungsauswerter	Protokolle bei externer Ausführung melden -> Überwachungsauswerter bereitstellen -> Kontinuierlich auf Drift, Latenz, Kosten oder Qualitätsverschlechterung prüfen	Plattform hat Sonnenuntergang
Migrationsexport	Migrationsleitfaden	Daten vor Sonnenuntergang exportieren; die Plattform und die Daten werden nach dem 08.09.2025 nicht mehr zugänglich sein	Das Migrationsfenster ist nun abgelaufen

Implementierungsgrenze: Wenn Sie die Produktmethoden von Humanloop studieren, besteht der Mindestpfad darin, den Feedbackkontext aus den vier Objekten Prompt, Log, Dataset und Evaluator zu verstehen; Wenn es sich um eine historische Kundenmigration handelt, sollten der mit der Exportdatei-API kompatible Prompt-Template-Dataset-Testfall und die Evaluator-Regel die Kernressourcen sein; Wenn es sich um eine neue Projektauswahl handelt, sollten Sie eine ähnliche LLMOps/Evals-Plattform wählen, die noch in Betrieb ist.

Produktpreise

Kostenhierarchie	Öffentlicher Status	Beschreibung
Einzelperson/Kleines Team	Nicht genannte verfügbare Neukaufpreise	Auf der aktuellen Seite sind keine öffentlichen Pakete für Neukäufe verfügbar und die Plattform wurde am 08.09.2025 Sonnenuntergang	geschlossen
Entwickler/API	Historische Preise werden auf der aktuellen öffentlichen Seite nicht vollständig gespeichert	API/SDK-Funktionen können in der Dokumentation überprüft werden, die Abrechnung wurde jedoch seit dem 30.07.2025 eingestellt
Unternehmen/Compliance	Verträge und Rückerstattungen unterliegen der offiziellen Kundenkommunikation	Kunden mit Jahresabonnements über das Ablaufdatum hinaus werden vom Humanloop-Team wegen anteiliger Rückerstattungen kontaktiert

Preisurteil: Der aktuelle Geschäftsstatus von Humanloop ist nicht „SaaS mit monatlichem Abonnement“, sondern „Kündigung der ursprünglichen Plattform nach dem Beitritt zu Anthropic“. Daher sollte die Seite mit den historischen Preisen nicht als käufliche Preisliste verwendet werden. Neue Projekte müssen die Kostenanalyse auf alternative Plattformabonnements, Modellanrufgebühren, Datenmigrationsgebühren, Evaluator-Umschreibung, zeitnahe Versionsmigration und Überwachung der Rekonstruktionskosten verlagern.

Anwendungsszenarien

• Prompte Versionsverwaltung: geeignet für Teams, die verschiedene Kombinationen von Modellen, Vorlagen, Parametern und Tools vergleichen müssen. Die Eingabeaufforderungsdatei von Humanloop trennt die Konfiguration von den Abfragezeitdaten, sodass verschiedene Versionen derselben Aufgabe in den Bewertungsprozess eintreten können.
• LLM-Qualitätsbewertung: Geeignet für Teams, die Dataset als Bibliothek von Testfällen für KI-Anwendungen verwenden. Die Eingaben, Nachrichten und Ziele von Datenpunkten können echte Fehlerproben, Grenzproben und Standardantworten akzeptieren, um Regressionstests zu unterstützen.
• Beobachtbarkeit und Überwachung der Produktion: Geeignet für Teams, die bereits KI-Funktionen eingeführt haben. Protokolle, Überwachungsauswerter und Ablaufverfolgungsstrukturen helfen Teams dabei, Qualitätsabweichungen, Latenz, Kosten, Toolaufrufe und Ausgabekonformität kontinuierlich zu beobachten.
• Rollenübergreifende kollaborative Entwicklung: geeignet für Teams, in denen Produktmanager, Ingenieure und Fachexperten gemeinsam Qualitätsstandards definieren. Menschliche Bewerter und UI-First-Workflows ermöglichen die Teilnahme von nicht-technischen Experten an der Bewertung, während der Code-First-Pfad die technische Automatisierung beibehält. – Agent/RAG-Workflow-Experiment: Aktualisierungsanweisungen für verknüpfte Vorlagentools und verschachtelte Agents im Mai 2025. Humanloop kann die kombinierte Orchestrierung von Prompt, Tool und Agent unterstützen, was sich für das Produktdesign komplexer Agenten-Workflows in der historischen Forschung eignet.

Anwendbare Personen

• KI-Produktteam: Schnelle Iteration, Bewertung und Online-Überwachung müssen in derselben Feedbackkette platziert werden. Voraussetzung ist, dass es reale Benutzeraufgaben, Fehlerbeispiele und definierbare Qualitätsstandards gibt.
• LLMOps/Plattform-Engineering-Team: Protokolle, Datensätze, Evaluatoren und API-Zugriff für mehrere Geschäftsbereiche müssen einheitlich verwaltet werden. Diese Gruppe befasst sich mehr mit der Versionsverfolgung, der Überwachung der Konsistenz und den Migrationskosten.
• Domänenexperten und Produktmanager: Müssen an der sofortigen Qualitätsabnahme, der manuellen Bewertung und der Wartung des Testsatzes teilnehmen, möchten den Code jedoch nicht direkt ändern. Das UI-First-Design von Humanloop hat diese Art von Kollaborationsszenario bedient.
• Historischer Kunde und Migrationsführer: Sie müssen die Datei-, Versions-, Protokoll-, Datensatz- und Evaluator-Abstraktionen von Humanloop verstehen, um alte Assets auf Plattformen oder interne Systeme zu migrieren, die noch in Betrieb sind.

Ungeeignete Grenze: Humanloop ist derzeit nicht für die direkte Übernahme in neue Produktionsprojekte geeignet; Teams, die nur einmalige Prompt-Demos, keine Testsätze und keine Online-Überwachungsanforderungen durchführen, werden Schwierigkeiten haben, ausreichende Vorteile aus der vollständigen Methodik zu ziehen. Organisationen, die sich mit Compliance, Auditing und langfristiger Datenaufbewahrung befassen, sollten Alternativen priorisieren, die weiterhin vertragliche SLAs und Support bieten.

Zusammenfassung und Ausblick

Der historische Wert von Humanloop liegt in der frühen Weiterentwicklung der LLM-Anwendungsentwicklung von „Prompt Debugging“ zu „Evaluierungsgesteuerter Entwicklung + kollaborativer Entwicklung + Produktionsbeobachtbarkeit“. Das Objektmodell ist klar: Prompt verwaltet die Konfiguration, Log verwaltet den Ausführungsnachweis, Dataset verwaltet Testfälle, Evaluator verwaltet die Qualitätsbeurteilung und Evaluation/Monitoring verwaltet die Qualitätskontrolle vor und nach der Veröffentlichung. Es lohnt sich immer noch, diese Struktur von ähnlichen LLMOps- und AI-Governance-Plattformen zu lernen.

Die aktuellen Einschränkungen und Unsicherheiten sind ebenfalls sehr klar: Die Plattform endet am 08.09.2025, die Abrechnung wird nach dem 30.07.2025 eingestellt und die Plattform und die Daten werden nach dem 08.09.2025 nicht mehr zugänglich sein; es gibt keinen ausführbaren neuen Kaufpreis auf der öffentlichen Seite; Historische Kundendaten, Rückerstattungen und Migrationsdetails hängen vom offiziellen Migrationsfenster und der Kundenkommunikation ab; Ob die ursprüngliche Humanloop-Produktlinie nach dem Beitritt des Teams zu Anthropic in einer neuen Form in das Produktsystem aufgenommen wird, wurde nicht veröffentlicht.

Der Implementierungsvorschlag besteht darin, Humanloop als Methodik- und Migrationsobjekt und nicht als neues Beschaffungsobjekt zu behandeln. Historische Kunden sollten eine Bestandsaufnahme von Eingabeaufforderungsdateien, Datensatzversionen, Evaluatorregeln, Protokollen, Export-API-Aufrufpfaden und Berechtigungsmodellen durchführen. Neue Auswahlteams können die geschlossene Struktur von Humanloop als Akzeptanzrahmen verwenden, um zu vergleichen, ob Kandidatenplattformen versionierte Eingabeaufforderungen, reproduzierbare Bewertungen, Online-Überwachung, manuellen Feedback-API/SDK-Zugriff und Unternehmenssicherheitsbedingungen unterstützen.

Versionsinfo

• Sonnenuntergang der Humanloop-Plattform ：Die offizielle Dokumentation und das Änderungsprotokoll vom August 2025 zeigen, dass die Humanloop-Plattform am 08.09.2025 eingestellt wird, nachdem das Team Anthropic beigetreten ist. Nach diesem Datum sind die Plattform und die Daten dauerhaft nicht mehr zugänglich. （2025-09-08）
• Humanloop schließt sich dem anthropischen Übergang an ：In der offiziellen Ankündigung von Humanloop wurde bekannt gegeben, dass das Team Anthropic beigetreten ist, und es wurde erklärt, dass die Plattform in die Migrations- und Sonnenuntergangsphase eingetreten ist. Die Abrechnung ist seit dem 30.07.2025 eingestellt. （2025-08-13）
• Produktaktualisierungen vom Mai 2025 ：Das Änderungsprotokoll vom Mai 2025 kündigt Aktualisierungen für RAG-verknüpfte Vorlagentools, Claude 4-Unterstützung, regionsübergreifende Inferenz von AWS Bedrock, Eingabeaufforderungen im Code, verschachtelte Agenten und Beobachtbarkeit an. （2025-05-22）
• Humanloop v5-Dokumente ：Der offizielle Dokumentindex zeigt, dass v5.0 die Standardversion des Dokuments ist und es kein offizielles genaues Veröffentlichungsdatum gibt; Das v5-Dokument behandelt Auswertung, Prompt-Management, Beobachtbarkeit, Agenten, Tools, Datensätze und API. （~2025-08）