{"id":358,"date":"2026-02-21T09:53:59","date_gmt":"2026-02-21T09:53:59","guid":{"rendered":"https:\/\/mcgrinsey.com\/mag\/ai-agent-observability-wie-du-siehst-was-dein-agent-wirklich-tut\/"},"modified":"2026-02-21T09:59:26","modified_gmt":"2026-02-21T09:59:26","slug":"ai-agent-observability-wie-du-siehst-was-dein-agent-wirklich-tut","status":"publish","type":"post","link":"https:\/\/mcgrinsey.com\/mag\/de\/ai-agent-observability-wie-du-siehst-was-dein-agent-wirklich-tut\/","title":{"rendered":"AI Agent Observability: Wie du siehst, was dein Agent wirklich tut"},"content":{"rendered":"<h2>Die Landschaft der Agent-Visualisierung<\/h2>\n<p>Wer ein eigenes AI-Agent-System baut \u2014 ob mit LangChain, custom Python oder einem der vielen neuen Frameworks \u2014 steht fr\u00fcher oder sp\u00e4ter vor derselben Frage: Was macht mein Agent eigentlich gerade? Und warum hat er das getan?<\/p>\n<p>Die gute Nachricht: Es gibt mittlerweile echte Tools daf\u00fcr. Die schlechte: Die meisten kennen sie noch nicht.<\/p>\n<h2>Was ist LangChain \/ LangGraph?<\/h2>\n<p>LangChain ist ein Python-Framework zum Bauen von Agent-Systemen. LangGraph ist die Erweiterung, die Agent-Flows als Graphen modelliert: Nodes sind Schritte, Edges sind \u00dcberg\u00e4nge. Was man in einem custom Agent-System von Hand baut \u2014 ReAct-Loop, Tool-Ausf\u00fchrung, Context-Assembly, Provider-Fallback \u2014 macht LangGraph deklarativ mit Klassen.<\/p>\n<p>Der Trade-off: LangChain ist ein umfangreiches Framework mit vielen Abstraktionen. Ein minimalistisches, custom-gebautes System hat Vorteile (volle Kontrolle, kein Vendor Lock-in, kein Overhead), aber weniger Tooling. LangChain hat daf\u00fcr ein ganzes \u00d6kosystem an Observability-Tools.<\/p>\n<h2>Die 5 wichtigsten Visualisierungs-Tools<\/h2>\n<h3>1. LangGraph Studio \u2014 \"First Agent IDE\"<\/h3>\n<ul>\n<li>Zeigt den Agent-Graphen live: welche Nodes durchlaufen werden, welche Tools aufgerufen werden, Zwischenstates<\/li>\n<li>Step-Through Debugging: Agent pausiert nach jedem Schritt<\/li>\n<li>Real-Time Streaming der Entscheidungen<\/li>\n<li><strong>Einschr\u00e4nkung:<\/strong> Nur f\u00fcr LangGraph-Agents, nicht f\u00fcr custom Systeme<\/li>\n<\/ul>\n<h3>2. LangSmith \u2014 Observability Platform<\/h3>\n<ul>\n<li>Traces jeden LLM-Call end-to-end als Waterfall-View<\/li>\n<li>Zeigt: Latenz, Token-Kosten, Fehlerraten, Prompt-Versionen<\/li>\n<li>Nested Spans f\u00fcr Multi-Step Agents<\/li>\n<li><strong>Einschr\u00e4nkung:<\/strong> Cloud-hosted, nicht self-hostable<\/li>\n<\/ul>\n<h3>3. Langfuse \u2014 Open Source Alternative<\/h3>\n<ul>\n<li>MIT-Lizenz, self-hostable (Docker in 5 Minuten)<\/li>\n<li>Traces mit Multi-Turn Support<\/li>\n<li>Prompt-Versioning, Evaluations, Cost-Tracking<\/li>\n<li>19.000+ GitHub Stars<\/li>\n<li><strong>Vorteil:<\/strong> Framework-agnostisch \u2014 funktioniert mit jedem System<\/li>\n<\/ul>\n<h3>4. Arize Phoenix \u2014 Open Source Observability<\/h3>\n<ul>\n<li>Trace-Visualisierung, Evals, Embeddings-Analyse<\/li>\n<li>Gut f\u00fcr ML-Teams die bereits mit Embeddings arbeiten<\/li>\n<\/ul>\n<h3>5. AgentOps \u2014 Agent-spezifische Observability<\/h3>\n<ul>\n<li>Speziell f\u00fcr Agent-Workflows gebaut, nicht nur LLM-Calls<\/li>\n<li>Sessions als First-Class Objects, Multi-Agent Support<\/li>\n<\/ul>\n<h2>Die Agent-Framework-Landschaft im Vergleich<\/h2>\n<pre style=\"background:#111;color:#e0e0e0;padding:20px;border-radius:8px;overflow-x:auto;font-family:'Courier New',monospace;font-size:14px;line-height:1.6;\">\n\u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u252c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u252c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510\n\u2502      Framework       \u2502           Ansatz             \u2502     Visualisierung       \u2502\n\u251c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2524\n\u2502 LangGraph            \u2502 Graph-basiert (Nodes\/Edges)  \u2502 LangGraph Studio (live)  \u2502\n\u251c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2524\n\u2502 CrewAI               \u2502 Role-based Teams             \u2502 Eigenes Dashboard        \u2502\n\u251c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2524\n\u2502 AutoGen (Microsoft)  \u2502 Multi-Agent Conversations    \u2502 Minimal                  \u2502\n\u251c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2524\n\u2502 OpenAI Swarm         \u2502 Lightweight Agent Handoffs   \u2502 Keine native             \u2502\n\u251c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2524\n\u2502 Custom \/ DIY         \u2502 Custom ReAct + Shared Memory \u2502 Eigenbau oder Langfuse   \u2502\n\u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2534\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2534\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518\n<\/pre>\n<h2>Der Entscheidungsbaum<\/h2>\n<pre style=\"background:#111;color:#e0e0e0;padding:20px;border-radius:8px;overflow-x:auto;font-family:'Courier New',monospace;font-size:14px;line-height:1.6;\">\n                    \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510\n                    \u2502  Dein Agent-System   \u2502\n                    \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u252c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518\n                               \u2502\n                    \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u25bc\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510\n                    \u2502  LangChain-basiert?  \u2502\n                    \u2514\u2500\u2500\u2500\u2500\u252c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u252c\u2500\u2500\u2500\u2500\u2518\n                     Ja  \u2502           \u2502  Nein\n                         \u25bc           \u25bc\n                  \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510  \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510\n                  \u2502 LangSmith\u2502  \u2502 Daten bleiben  \u2502\n                  \u2502 Studio   \u2502  \u2502 bei dir?       \u2502\n                  \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518  \u2514\u2500\u2500\u2500\u252c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u252c\u2500\u2500\u2500\u2518\n                                Ja  \u2502       \u2502 Egal\n                                    \u25bc       \u25bc\n                             \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510 \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510\n                             \u2502Langfuse \u2502 \u2502LangSmith\u2502\n                             \u2502(self-   \u2502 \u2502(Cloud)  \u2502\n                             \u2502 hosted) \u2502 \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518\n                             \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518\n<\/pre>\n<h2>Drei Wege zur Agent-Observability<\/h2>\n<h3>Option A: Langfuse integrieren<\/h3>\n<ul>\n<li>Self-hosted, open source<\/li>\n<li>Ein paar Zeilen Instrumentierung pro LLM-Call<\/li>\n<li>Waterfall-Traces, Kosten-Tracking, Latenz-Metriken im Browser<\/li>\n<li><strong>Beste Wahl f\u00fcr:<\/strong> Teams die Kontrolle \u00fcber ihre Daten behalten wollen<\/li>\n<\/ul>\n<h3>Option B: Eigene Mermaid-basierte Visualisierung<\/h3>\n<ul>\n<li>Jeder Request schreibt seinen Flow als Mermaid-Sequenzdiagramm<\/li>\n<li>Ein Monitor-Script rendert das live<\/li>\n<li>100% unter eigener Kontrolle, keine Dependency<\/li>\n<li><strong>Beste Wahl f\u00fcr:<\/strong> Minimalisten und Hacker<\/li>\n<\/ul>\n<h3>Option C: Eigenes Web-Dashboard<\/h3>\n<ul>\n<li>Baut auf bestehenden Status-Dateien auf<\/li>\n<li>Echtzeit-WebSocket-basierte Visualisierung<\/li>\n<li>Zeigt Request-Flows, Agent-States, Tool-Calls live<\/li>\n<li><strong>Beste Wahl f\u00fcr:<\/strong> Teams mit spezifischen UI-Anforderungen<\/li>\n<\/ul>\n<h2>Fazit<\/h2>\n<p>Agent-Observability ist kein Luxus mehr. Wer autonome AI-Agents in Produktion betreibt, ohne zu sehen was sie tun, fliegt blind. Die Tools sind da \u2014 von der voll integrierten Cloud-L\u00f6sung bis zum Open-Source-Selbstbau. Die Frage ist nicht ob, sondern welcher Ansatz zum eigenen System passt.<\/p>\n<p><strong>Quellen und weiterf\u00fchrende Links:<\/strong><\/p>\n<ul>\n<li><a href=\"https:\/\/www.langchain.com\/langsmith\/observability\" target=\"_blank\" rel=\"noopener\">LangSmith Observability<\/a><\/li>\n<li><a href=\"https:\/\/blog.langchain.com\/langgraph-studio-the-first-agent-ide\/\" target=\"_blank\" rel=\"noopener\">LangGraph Studio<\/a><\/li>\n<li><a href=\"https:\/\/langfuse.com\/\" target=\"_blank\" rel=\"noopener\">Langfuse<\/a><\/li>\n<li><a href=\"https:\/\/langfuse.com\/self-hosting\" target=\"_blank\" rel=\"noopener\">Langfuse Self-Hosting<\/a><\/li>\n<li><a href=\"https:\/\/o-mega.ai\/articles\/langgraph-vs-crewai-vs-autogen-top-10-agent-frameworks-2026\" target=\"_blank\" rel=\"noopener\">Agent Framework Vergleich 2026<\/a><\/li>\n<li><a href=\"https:\/\/www.turing.com\/resources\/ai-agent-frameworks\" target=\"_blank\" rel=\"noopener\">AI Agent Frameworks Overview<\/a><\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"<p>Wer ein AI-Agent-System baut, steht vor der Frage: Was macht mein Agent gerade? LangSmith, LangGraph Studio, Langfuse und Co. im Vergleich \u2014 plus Entscheidungsbaum f\u00fcr die richtige Wahl.<\/p>\n","protected":false},"author":4,"featured_media":357,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[27,30,33,36,39,42],"class_list":["post-358","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized","tag-ai-agents-de","tag-developer-tools-de","tag-langchain-de","tag-langfuse-de","tag-llm-de","tag-observability-de"],"_links":{"self":[{"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/posts\/358","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/comments?post=358"}],"version-history":[{"count":1,"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/posts\/358\/revisions"}],"predecessor-version":[{"id":359,"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/posts\/358\/revisions\/359"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/media\/357"}],"wp:attachment":[{"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/media?parent=358"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/categories?post=358"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/mcgrinsey.com\/mag\/wp-json\/wp\/v2\/tags?post=358"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}