KI-Agenten führen lernen: KI Governance als neue Managementaufgabe nach dem AI Act

Ein aktueller Anlass: Watermarking als Spur

Anthropic markiert Outputs seiner neuen Claude-Modelle seit Kurzem durch Watermarking. Bei Texten geschieht das unsichtbar und maschinenlesbar, bei unterstützten Dateien kommen signierte Herkunftsinformationen hinzu – ausgelöst auch durch die seit dem 2. August 2026 geltenden Transparenzanforderungen aus Artikel 50 des europäischen AI Act.

Ein Watermark sagt damit noch nichts über die Qualität eines Textes. Es verhindert keine Halluzination und beweist keine Autorschaft. Es hinterlässt aber eine Spur im Entstehungsprozess – und genau diese Spur wird interessant, sobald KI nicht mehr nur schreibt, sondern handelt.

Vom Werkzeug zu Agent: Wenn Software selbst handelt

Unter dem Begriff Agentic AI entstehen Systeme, die einen Auftrag erhalten und auf dem Weg zum Ergebnis in unterschiedlichem Umfang selbst tätig werden können. Sie planen Arbeitsschritte, benutzen Werkzeuge, greifen auf Anwendungen zu oder führen Aktionen aus. Vieles davon befindet sich noch in einer Phase, in der Produktversprechen und belastbare Alltagstauglichkeit auseinandergehalten werden sollten. Die Richtung ist trotzdem interessant.

Vor allem, weil sie zu einer Theorie zurückführt, die bald fünfzig Jahre alt ist.

Die Principal-Agent-Theorie: eine fast 50 Jahre alte Frage

Michael Jensen und William Meckling beschrieben 1976 die Beziehung zwischen Principal und Agent. Die Grundkonstellation begegnet einem in Organisationen dauernd: Jemand beauftragt einen anderen, in seinem Interesse etwas zu tun, und überträgt ihm dafür Entscheidungsspielraum.

Der Eigentümer beschäftigt ein Management, eine Führungskraft delegiert an Mitarbeitende, ein Unternehmen engagiert eine Beratung. Mit der Aufgabe wandert immer auch ein Stück Verfügungsmacht.

Und genau da fängt der Ärger an. Der Agent weiß gewöhnlich mehr über sein eigenes Handeln als sein Auftraggeber. Er kann andere Interessen verfolgen, andere Prioritäten haben und besitzt einen Informationsvorsprung darüber, was er tatsächlich tut. Jensen und Meckling untersuchten die Kosten, die entstehen, um mit diesem Problem umzugehen.

Wer einige Jahre in größeren Organisationen verbracht hat, kennt deren praktische Erscheinungsformen: Zielvereinbarungen, Berichtslinien, Freigaben, Budgets, Controlling, Vier-Augen-Prinzipien, Compliance. Über jedes einzelne Instrument kann man sich hervorragend ärgern. Dass es sie gibt, hat trotzdem einen Grund.

Nun taucht ausgerechnet der Agent wieder auf – nur eben künstlich.

Vom menschlichen zum künstlichen Agenten

Die Versuchung liegt nahe, die alte Theorie einfach auf AI Agents zu übertragen. Das funktioniert nur begrenzt. Ein künstlicher Agent möchte weder Karriere machen noch einen größeren Bonus, und er schielt nicht auf den Job seines Vorgesetzten. Das Eigeninteresse, das in der klassischen Agency-Theorie eine wichtige Rolle spielt, kann man einer Software nicht einfach andichten.

Trotzdem erkennt man Teile der alten Konstellation wieder.

Nehmen wir einen Reise-Agenten. Ich beauftrage ihn, die günstigste Reise nach München zu organisieren. Er findet einen Flug um 5.40 Uhr mit zwei Umstiegen und ein preiswertes Hotel weit draußen vor der Stadt. Auftrag erledigt. Ich hatte nur etwas anderes gemeint.

Dafür braucht die Maschine keinen eigenen Willen. Es genügt, dass der formulierte Auftrag und die tatsächliche Absicht nicht vollständig übereinstimmen.

Bei einem Chatbot ist das zunächst lästig: Er macht einen schlechten Vorschlag, man verwirft ihn. Hat derselbe Agent Zugriff auf Kalender, Buchungsportal und Zahlungsmittel, verändert sich die Lage. Aus einem Output wird eine Handlung.

Noam Kolt hat diese Verbindung zur Principal-Agent-Theorie in seiner Arbeit über die Governance von AI Agents aufgegriffen. Er beschreibt unter anderem Informationsasymmetrien und diskretionäre Handlungsmacht und weist zugleich darauf hin, dass die bekannten Mittel zur Beherrschung von Agency-Problemen bei künstlichen Agenten an Grenzen geraten können. Systeme arbeiten mit einer Geschwindigkeit und Skalierung, für die menschliches Monitoring nicht unbedingt gemacht wurde. Ihre Entscheidungen können zudem schwer nachvollziehbar sein.

Atoosa Kasirzadeh und Iason Gabriel schlagen für die Betrachtung von AI Agents vier Dimensionen vor: Autonomie, Wirksamkeit, Zielkomplexität und Generalität. Das ist für Organisationen hilfreicher als die pauschale Frage, ob irgendeine Software nun schon ein „echter Agent" sei.

Unternehmen interessiert ohnehin zuerst etwas viel Profaneres.

Was darf er? Governance für KI-Agenten im Unternehmen

Bei Mitarbeitenden beantworten wir diese Frage ziemlich selbstverständlich. Ein Werkstudent bekommt andere Systemrechte als ein Finanzvorstand. Ein neuer Kollege erhält nicht am ersten Morgen Zugriff auf CRM, Einkauf, Bankkonten und die Vorstandsmailbox, nur weil er einen sympathischen Eindruck macht.

Bei Software haben wir lange hauptsächlich über Funktionen gesprochen. Bei Agenten werden Unternehmen mehr über Befugnisse sprechen müssen: Was darf ein KI-Agent selbstständig entscheiden, wo braucht es eine Freigabe, wer haftet, wenn etwas schiefgeht?

Watermarking wäre in dieser Perspektive ein früher Baustein einer Infrastruktur für künstliche Handlungsmacht: Wenn künstliche Agenten künftig häufiger kommunizieren, buchen, einkaufen oder andere Systeme beauftragen, wird die Herkunft einer Handlung interessant. Dann möchte man rekonstruieren können, welches System etwas getan hat, wer es beauftragt hatte und was es eigentlich durfte.

Die Kompetenzpflicht kommt: Artikel 4 AI Act

Für Unternehmen kommt die Governance-Frage nicht nur aus der Praxis, sondern auch aus dem Gesetz selbst. Neben den Kennzeichnungspflichten aus Artikel 50 verpflichtet der AI Act Anbieter und Betreiber bereits seit Februar 2025 nach Artikel 4, ausreichende KI-Kompetenz bei Personal und sonstigen Personen sicherzustellen, die in ihrem Auftrag mit KI-Systemen umgehen. Governance von KI-Agenten ist damit nicht nur eine Frage der IT-Sicherheit, sondern eine gesetzlich verankerte Führungsaufgabe.

Was das für den Arbeitsmarkt bedeutet

Das berührt auch den Arbeitsmarkt, allerdings anders als die übliche Diskussion über verschwundene Berufe vermuten lässt. Die ILO kommt in ihrem aktuellen globalen Index zu dem Ergebnis, dass etwa ein Viertel der Beschäftigten weltweit in Berufen arbeitet, die in irgendeinem Umfang gegenüber generativer KI exponiert sind. In der höchsten Expositionskategorie liegen 3,3 Prozent. Weil viele Tätigkeiten weiterhin menschlichen Input benötigen, hält die ILO eine Veränderung von Jobs insgesamt für wahrscheinlicher als deren vollständige Ersetzung.

Agentische Systeme könnten diese Veränderung noch an einer anderen Stelle vorantreiben. Wo Software nicht mehr nur unterstützt, sondern Aufgaben übernimmt, wird der Mensch häufiger zum Auftraggeber.

Das klingt komfortabel. Wer einmal geführt hat, weiß, dass es das nicht unbedingt ist.

Principal Literacy: beauftragen lernen

Delegieren setzt voraus, dass man ungefähr weiß, was man erreichen möchte. Menschen helfen uns dabei bislang erheblich. Ein guter Mitarbeiter kennt den Kontext, stellt Rückfragen und lernt irgendwann die kleinen Merkwürdigkeiten einer Organisation. Er weiß, dass „mach das bitte fertig" keineswegs fertig bedeutet, weil eine Kollegin aus dem Vorstand vorher immer noch einmal draufschauen möchte.

Ein künstlicher Agent muss solche Zusammenhänge erst irgendwoher bekommen.

Für die Kompetenz auf der anderen Seite dieser Beziehung prägt Dirk Hoenerbach einen eigenen Begriff: Principal Literacy. Was genau damit gemeint ist – und warum ausgerechnet die Automatisierung uns zu einer sehr alten Führungsfrage zurückführt – erklärt er im vollständigen Kommentar im KHMI Magazin.

KI-Agenten führen: Auch eine Aufgabe für Ihr Unternehmen.

Was ein KI-Agent darf, ist am Ende keine technische Frage, sondern eine der Führung – und, wie Artikel 4 des AI Act zeigt, inzwischen auch eine der Compliance. Das KHMI unterstützt Unternehmen dabei, KI-Transformation und die dazugehörige Governance verantwortungsvoll zu gestalten. Mehr zu ProSyT – Projekt System Training, dem Angebot für Unternehmen

Über Dirk Hoenerbach

Dirk Hoenerbach ist Kommunikationsstratege, Berater und Dozent mit langjähriger Erfahrung in Management, Unternehmenskommunikation und der Lehre an Business Schools. Sein Schwerpunkt liegt auf KI-Transformation, Identität und der Frage, wie technologische Veränderungen Organisationen, Führung und Kommunikation verändern. Er wird ab September am KHMI als Dozent tätig sein.

Quellen

Anthropic (2026): How Claude marks AI-generated content. support.claude.com/en/articles/16266773-how-claude-marks-ai-generated-content

Google (2026): Google Search’s Guidance on Generative AI Content on Your Website. developers.google.com/search/docs/fundamentals/using-gen-ai-content

Europäische Kommission (2026): Artikel 50 AI Act – Transparency obligations for providers and deployers of certain AI systems. ai-act-service-desk.ec.europa.eu/en/ai-act/article-50

Jensen, M. C., Meckling, W. H. (1976): Theory of the Firm: Managerial Behavior, Agency Costs and Ownership Structure. Journal of Financial Economics, 3(4), 305–360. papers.ssrn.com/sol3/papers.cfm?abstract_id=94043

Kolt, N. (2025): Governing AI Agents. Notre Dame Law Review (forthcoming). arxiv.org/abs/2501.07913

Kasirzadeh, A., Gabriel, I. (2025): Characterizing AI Agents for Alignment and Governance. arxiv.org/abs/2504.21848

International Labour Organization (2025): Generative AI and Jobs: A Refined Global Index of Occupational Exposure. ILO Working Paper 140. ilo.org/publications/generative-ai-and-jobs-refined-global-index-occupational-exposure