Agent Observability: so siehst du, was dein AI-Agent wirklich tut
Agent Observability sind Traces, Metriken und Evals für nicht-deterministische Läufe. Langfuse rund 34.000 Sterne, seit Januar 2026 ClickHouse. Phoenix, LangSmith, OpenTelemetry.
Künstlich erzeugtAgent Observability heißt: jeden LLM-Call, Tool-Call, Retry und Token eines Laufs sehen, hinterher und währenddessen. Klassisches APM loggt einen deterministischen Pfad. Ein Agent ist nicht deterministisch. Derselbe Prompt, anderer Graph. Ohne Traces starrst du auf den letzten Satz und rätst.
Was du dir überhaupt ansiehst
- Traces: der ganze Weg einer Anfrage, verschachtelt wie Puppen: Modell, Tool, Unter-Agent, Retry.
- Metriken: Tokens, Latenz pro Schritt, Kosten pro Request, Fehlerrate.
- Evals: hat dieser Lauf die Arbeit getan, bewertet von einem Judge, einem Skript oder einem Menschen.
Das Rohr unter den Markennamen ist zunehmend OpenTelemetry. Langfuse und Phoenix sprechen es nativ. LangSmith kann es schlucken. Wer einmal gegen OTel instrumentiert, kann das Backend später tauschen.
Das Feld im September 2026
Langfuse: Default, wenn die Daten bei dir bleiben sollen
Open-Source-LLM-Engineering-Plattform, MIT, Self-Host per Docker. Tracing, Prompt-Versionen, Datasets, Playground, Evals. Rund 34.000 GitHub-Sterne auf langfuse/langfuse. Seit Januar 2026 sitzt die Firma in ClickHouse. Das README hält weiter MIT und Self-Host fest. Der Trade: Reife plus ein Datenbank-Vendor als Eigentümer. Frag, wo die Traces landen.
Quelle: github.com/langfuse/langfuse.
LangSmith: am tiefsten, wenn du schon in LangChain wohnst
Gebaut vom LangChain-Team. Waterfall-Traces, Token- und Latenz-Dashboards, Prompt Hub. Daneben LangGraph Studio als visueller Debugger: Graph leuchtet, Pause, Zurückspulen, Production-Trace lokal nochmal laufen lassen. Die öffentlichen Docs 2026 behandeln LangSmith weiter als Cloud-Produkt, nicht als Kiste bei dir. In Ordnung, wenn Prompts das Haus verlassen dürfen. Nicht in Ordnung, wenn nicht.
Quelle: docs.smith.langchain.com.
Arize Phoenix: OpenTelemetry auf dem Laptop
Tracing plus Evals, notebook-first, dieselben Spans später in Production. GitHub listet rund 11.000 Sterne auf arize-ai/phoenix. Lizenz im Repo: Elastic-2.0, source-available, nicht MIT. Self-Host ist der Punkt. Die gemanagte Schwester heißt Arize AX.
Quelle: github.com/Arize-ai/phoenix.
AgentOps, Helicone, Weave, Opik
AgentOps behandelt die Agent-Session als Objekt, nicht den einzelnen LLM-Call. Helicone sitzt als Proxy und zählt. Weights & Biases Weave ist die Trace-Schicht, wenn du sowieso W&B zahlst. Comet Opik ist die andere offene Eval-und-Trace-Bank. Keins davon ersetzt einen Trace-Store. Es ist nur der Eingang, den manche Teams nehmen.
Drei Fragen, dann pickst du
- Dürfen Prompts deine Maschinen verlassen? Nein: Langfuse oder Phoenix, self-hosted. Ja: LangSmith liegt auf dem Tisch.
- Bist du an LangGraph verheiratet? Ja: LangSmith plus Studio. Nein: zuerst framework-agnostisch.
- Debugger für Dienstag oder Monitor für nächstes Jahr? Studio gewinnt den Nachmittag. Langfuse und LangSmith gewinnen den Monat.
Die meisten Teams landen bei zwei Schichten: eine zum Durchsteigen eines Graphen, eine für Production-Traces. Das ist keine Unentschiedenheit. Die Jobs sind verschieden.
Fakten-Tabelle
| Aussage | Korb | Woher |
|---|---|---|
| Langfuse rund 34.000 GitHub-Sterne, MIT, Self-Host, seit Januar 2026 Teil von ClickHouse | Fakt | github.com/langfuse/langfuse README, September 2026. Die Übernahme steht dort vom Projekt selbst. |
| Phoenix rund 11.000 Sterne, Elastic-2.0, Self-Host, OpenTelemetry/OpenInference | Fakt | github.com/Arize-ai/phoenix, September 2026. |
| LangSmith ist Cloud, keine Self-Host-Kiste | Fakt laut öffentlicher Doku, September 2026 | LangSmith-Docs. Wenn sich das ändert, ändern sich zuerst die Docs. |
| Agent-Läufe sind nicht deterministisch, deshalb sind Traces in Production keine Kür | These | Diese Seite. Derselbe Input, anderer Pfad ist der ganze Punkt eines Agenten. |
| OpenTelemetry ist das Austauschformat, das die aktuellen Markennamen überlebt | Hypothese | Langfuse und Phoenix natives OTel, LangSmith Ingestion. Richtung, keine Standard-Abstimmung. |
Schnitt: 9. September 2026. Langfuse ist keine unabhängige Firma mehr. Die Traces self-hosten weiter unter MIT, wenn du die Kiste selbst fährst.
