KI-Agenten Governance: Warum Prompts nicht schützen und wie das Agent Governance Toolkit von Microsoft für echte Kontrolle sorgt.

In vielen Unternehmen werden dafür zunächst Anweisungen im Prompt hinterlegt: Der Agent soll keine vertraulichen Informationen weitergeben, keine Daten löschen oder kritische Aktionen nur nach vorheriger Freigabe ausführen.

Das Problem: Eine Anweisung ist keine technische Sicherheitskontrolle.

Prompts können das gewünschte Verhalten eines KI-Modells beeinflussen. Sie verhindern jedoch nicht zuverlässig, dass ein Agent manipulierte Anweisungen befolgt oder definierte Regeln umgeht.

Mit zunehmender Autonomie von KI-Agenten wird diese Unterscheidung entscheidend. Denn während klassische Chatbots hauptsächlich Informationen bereitstellen, können KI-Agenten aktiv auf Systeme zugreifen und Prozesse beeinflussen.

Unternehmen benötigen deshalb mehr als gute Prompts: Sie brauchen technische Leitplanken, die Regeln unabhängig vom KI-Modell durchsetzen.

Ein möglicher Ansatz dafür ist das Agent Governance Toolkit von Microsoft.

Gute Governance-Konzepte reichen nicht aus

Governance-Konzepte definieren Verantwortlichkeiten, Rollen, Prozesse und Richtlinien. Sie schaffen damit eine wichtige Grundlage für den kontrollierten Einsatz von KI-Agenten. Doch selbst ein durchdachtes Konzept entfaltet wenig Wirkung, wenn die darin festgelegten Regeln im Arbeitsalltag nicht technisch durchgesetzt werden.

Ein sauber strukturiertes Dokument mit verbindlichen Vorgaben verhindert weder unberechtigte Zugriffe noch unerwünschte Aktionen eines KI-Agenten. Das Problem liegt nicht unbedingt im Konzept selbst, sondern in der fehlenden technischen Durchsetzung. Gerade bei autonomen KI-Agenten wird das kritisch. Denn anders als ein klassischer Chatbot beschränken sie sich nicht darauf, Informationen bereitzustellen. Sie können aktiv in Unternehmensprozesse eingreifen.

Governance muss deshalb dort greifen, wo Entscheidungen und Aktionen stattfinden: technisch, automatisiert und nachvollziehbar.

Das Agent Governance Toolkit: Kontrolle statt guter Absichten

Mit dem Agent Governance Toolkit hat Microsoft ein Open-Source-Projekt veröffentlicht, das genau an dieser Stelle ansetzt. Das Toolkit steht unter der MIT-Lizenz und befindet sich aktuell in der Public Preview. Der grundlegende Ansatz ist ebenso einfach wie wichtig: Anstatt sich darauf zu verlassen, dass ein KI-Modell Regeln befolgt, werden seine Aktionen durch technischen Code überprüft – bevor sie ausgeführt werden.

Warum das notwendig ist, zeigt ein Blick auf sogenannte Prompt-Injection-Angriffe. Dabei werden manipulierte Anweisungen beispielsweise in E-Mails, Dokumenten oder Webseiten versteckt. Liest ein KI-Agent diese Inhalte, kann er versuchen, die darin enthaltenen Anweisungen auszuführen, selbst wenn sie den ursprünglichen Vorgaben widersprechen.

Das Problem: Ein Prompt ist kein verlässlicher Schutz gegen solche Manipulationen.

Das Toolkit setzt deshalb auf eine zusätzliche Kontrollinstanz außerhalb des Sprachmodells. Aktionen werden anhand definierter Richtlinien geprüft. Ist eine Aktion nicht erlaubt, wird sie blockiert. Nicht mit einer weiteren Bitte an das Modell, sondern durch eine technische Entscheidung.

Drei Fragen, die jedes Unternehmen beantworten können sollte

Wenn Unternehmen KI-Agenten einsetzen oder deren Einführung planen, sollten sie drei grundlegende Fragen beantworten können:

1. Welche Aktionen darf ein Agent ausführen?
Welche Daten darf er lesen? Welche Systeme darf er ansprechen? Darf er E-Mails versenden, Datensätze verändern oder Informationen löschen?

2. Welcher Agent hat die Aktion ausgeführt?
Lässt sich eindeutig zuordnen, welcher Agent für einen bestimmten Zugriff oder eine Aktion verantwortlich war? Oder verwenden mehrere Agenten dieselben technischen Zugangsdaten?

3. Können die Aktionen nachvollzogen werden?
Gibt es eine verlässliche Protokollierung, anhand derer sich Entscheidungen und ausgeführte Aktionen rekonstruieren lassen?

Viele Unternehmen können diese Fragen für ihre KI-Agenten noch nicht ausreichend beantworten. Das Agent Governance Toolkit stellt dafür drei zentrale Bausteine bereit:

Policy Engine – Regeln technisch durchsetzen
Über Richtlinien im YAML-Format lassen sich erlaubte und verbotene Aktionen definieren. So kann beispielsweise festgelegt werden, dass Lösch-, Entfernungs- oder Kürzungsoperationen grundsätzlich blockiert werden. Der Versand einer E-Mail kann dagegen eine vorherige Freigabe durch einen Mitarbeitenden aus dem Security-Team erfordern.

Agent Identity – Agenten eindeutig identifizieren
Jeder Agent erhält eine eigene Identität. Dadurch lässt sich nachvollziehen, welcher Agent welche Aktionen ausgeführt hat. Gleichzeitig wird vermieden, dass mehrere Agenten dieselben API-Zugangsdaten verwenden.

Audit Logging – Aktionen nachvollziehbar dokumentieren
Ausgeführte und blockierte Aktionen werden protokolliert. Die manipulationsgeschützte Protokollierung schafft eine wichtige Grundlage für die spätere Analyse und Nachvollziehbarkeit.

Die technische Integration ist dabei vergleichsweise einfach: Das Toolkit kann über wenige Codezeilen in die jeweiligen Tool-Aufrufe eingebunden werden. Jede entsprechende Aktion wird anschließend anhand der definierten Richtlinien überprüft und dokumentiert.

Das Prinzip lässt sich mit einer Zugangskontrolle vergleichen: Der Agent darf eine Aktion anfordern. Ob sie tatsächlich ausgeführt wird, entscheidet eine unabhängige Kontrollinstanz.

Technische Leitplanken statt manueller Kontrollen

In der Praxis wird es kaum möglich sein, jede einzelne Aktion eines KI-Agenten vorab manuell zu überprüfen. Mit zunehmender Anzahl an Agenten, Anwendungsfällen und integrierten Systemen steigt auch der Kontrollaufwand. IT- und Security-Teams können diese Entwicklung nicht allein durch zusätzliche Prüfprozesse auffangen. Die bessere Strategie: Sicherheitsregeln einmal definieren und technisch durchsetzen. Dabei sollten die Kontrollmechanismen zum jeweiligen Risiko passen:

• Niedriges Risiko: Unkritische Aktionen können automatisiert ausgeführt werden.
• Mittleres Risiko: Bestimmte Aktionen werden eingeschränkt oder zusätzlich protokolliert.
• Hohes Risiko: Kritische Aktionen erfordern eine menschliche Freigabe oder werden grundsätzlich blockiert.

Dieses Prinzip lässt sich auch auf unterschiedliche Einsatzbereiche übertragen. Ein persönlicher KI-Agent mit begrenztem Zugriff benötigt andere Leitplanken als ein unternehmensweiter Agent, der auf geschäftskritische Daten und Systeme zugreifen kann.

Das Agent Governance Toolkit bietet darüber hinaus weitere Funktionen:

• Agent Discovery: Unterstützung bei der Identifikation von Agenten, die außerhalb etablierter Registrierungs- und Governance-Prozesse entstanden sind.
• MCP Security: Prüfung von Model Context Protocol (MCP)-Tools auf potenzielle Manipulationen und versteckte Anweisungen.
• Compliance Mapping: Zuordnung technischer Kontrollen zu Frameworks wie den OWASP Agentic Top 10, dem NIST AI Risk Management Framework und dem EU AI Act.

Gerade der letzte Punkt ist interessant: Unternehmen können damit besser nachvollziehen und dokumentieren, welche technischen Kontrollen sie bereits umgesetzt haben und wo noch Handlungsbedarf besteht.

Wichtig ist allerdings: Eine solche Zuordnung allein bedeutet noch keine vollständige Compliance mit den jeweiligen Vorgaben.

Was das Toolkit kann und wo seine Grenzen liegen

So vielversprechend der Ansatz ist: Das Agent Governance Toolkit ist keine universelle Governance-Lösung für sämtliche KI-Agenten. Es handelt sich zunächst um ein Entwickler-Toolkit mit Unterstützung für Programmiersprachen wie Python, TypeScript, .NET, Go und Rust. Eine direkte Integration in Microsoft Copilot Studio gehört aktuell nicht zu den aufgeführten Integrationsmöglichkeiten. Für Low-Code-Agenten in Copilot Studio ersetzt das Toolkit daher keine vorhandenen administrativen Kontrollmechanismen oder Data-Loss-Prevention-Richtlinien.

Auch ein anderes häufiges Problem löst es nicht: zu weit gefasste Berechtigungen in SharePoint. Wenn Mitarbeitende oder Agenten Zugriff auf mehr Informationen haben, als sie eigentlich benötigen, liegt die Ursache in der Regel bei den Berechtigungsstrukturen und der Datenklassifizierung. Hier bleiben Microsoft Purview und ein konsequentes Berechtigungsmanagement entscheidend.

Weitere Punkte, die Unternehmen berücksichtigen sollten:

• Keine vollständige Isolation: Das Toolkit läuft innerhalb des jeweiligen Anwendungsprozesses. Für eine stärkere Isolation empfiehlt Microsoft eine separate Container-Umgebung pro Agent.
• Public Preview: Das Projekt befindet sich noch in der Vorschauphase. Änderungen an Schnittstellen und Funktionen sind daher möglich.
• Keine Governance auf Knopfdruck: Richtlinien müssen sinnvoll definiert, getestet und in die bestehende Sicherheitsarchitektur integriert werden.

Das Toolkit sollte deshalb als zusätzliche technische Sicherheitsschicht verstanden werden und nicht als Ersatz für ein ganzheitliches Governance-Konzept.

Eine zusätzliche Kontrollinstanz, deren Funktionsweise nachvollziehbar ist, bietet eine deutlich bessere Grundlage als ein Sicherheitsversprechen, dessen Einhaltung nicht überprüft werden kann.

In 45 Minuten zum ersten Governance-Test

Unternehmen, die den Ansatz selbst ausprobieren möchten, können bewusst klein starten. Das Agent Governance Toolkit lässt sich über Python installieren:

pip install "agent-governance-toolkit[full]"

Für einen ersten Test reichen drei Schritte:

1. Eine Richtlinie definieren: Festlegen, welche Aktion der Agent unter keinen Umständen ausführen darf.
2. Die Kontrolle integrieren: Das Toolkit in den entsprechenden Tool-Aufruf einbinden und testen, ob die definierte Regel greift.
3. Das Ergebnis überprüfen: agt verify ausführen und prüfen, ob die Richtlinien wie erwartet funktionieren.

Damit erhalten Entwickler einen ersten Eindruck davon, wie sich Governance-Regeln technisch durchsetzen und überprüfen lassen. Anschließend lohnt sich eine Frage, die über den technischen Test hinausgeht: Wenn ein KI-Agent heute Nacht eine unerwünschte Aktion ausführt – wer würde es bemerken? Und wie schnell?

Wenn darauf keine klare Antwort existiert, besteht Handlungsbedarf bei der Governance der eingesetzten KI-Agenten.

Fazit: KI-Agenten brauchen klare Grenzen

KI-Agenten eröffnen Unternehmen neue Möglichkeiten, Prozesse zu automatisieren, Wissen zugänglich zu machen und Aufgaben eigenständig auszuführen. Mit diesen Möglichkeiten wächst allerdings auch die Verantwortung für den kontrollierten Einsatz.

Ein guter Prompt ist ein sinnvoller Ausgangspunkt. Er ersetzt aber weder technische Sicherheitsmechanismen noch ein durchdachtes Berechtigungs- und Governance-Konzept.

Das Agent Governance Toolkit zeigt, wie sich Richtlinien direkt in die technische Ausführung integrieren lassen. Es ist kein Allheilmittel, aber ein interessanter Baustein für Unternehmen, die den Einsatz von KI-Agenten kontrollierbar und nachvollziehbar gestalten möchten.

Denn die entscheidende Frage ist nicht mehr nur, was ein KI-Agent leisten kann. Sondern auch, was er unter keinen Umständen tun darf.

KI-Agenten kontrolliert und sicher einsetzen

Die Einführung von KI-Agenten erfordert mehr als die Auswahl geeigneter Technologien. Entscheidend sind klare Berechtigungen, nachvollziehbare Regeln und ein Governance-Konzept, das zum jeweiligen Einsatzszenario passt.

HanseVision unterstützt Unternehmen dabei, geeignete Rahmenbedingungen für den Einsatz von Microsoft 365 und KI-Agenten zu schaffen – von Governance und Datenklassifizierung über Sicherheitskonzepte bis hin zu Implementierung und Betrieb.

Sie möchten wissen, welche Governance-Maßnahmen für Ihre KI-Agenten sinnvoll sind? Sprechen Sie mit unseren Expert:innen.