Welche Rechte geben wir unseren KI-Agenten?

Würden wir einem neuen Mitarbeiter am ersten Tag Zugriff auf das gesamte Postfach, die Kundendatenbank und die internen Dokumente geben? Dazu die Möglichkeit, Nachrichten zu verschicken und Datensätze zu ändern?

Ich würde zunächst wissen wollen, welche Aufgabe dieser Mensch übernehmen soll.

Bei KI-Agenten sollten wir dieselbe Frage stellen. Gerade weil es so einfach geworden ist, weitere Systeme anzuschließen. Ein paar Freigaben, und aus einem Werkzeug zum Schreiben wird eine Software, die im Unternehmen handeln kann.

Das ist nützlich. Es verändert aber auch, was bei einem Fehler passiert.

Ein schlechter Textentwurf lässt sich verwerfen. Eine Nachricht, die bereits beim Kunden liegt, lässt sich schwerer zurückholen. Eine falsche Änderung in einem System kann weitere Abläufe auslösen, bevor jemand merkt, dass etwas nicht stimmt.

Die Entscheidung, welche Rechte ein Agent bekommt, gehört deshalb für mich zur Einführung des Produkts. Sie ist zu wichtig, um sie während der Einrichtung nebenbei zu treffen.

Die Aufgabe kommt vor dem Zugriff

Das britische National Cyber Security Centre hat kürzlich praktische Hinweise zum Umgang mit KI-Agenten veröffentlicht. Darin geht es unter anderem um deren Zugänge, die Überwachung ihrer Aktivitäten und Möglichkeiten, sie zu stoppen. Die Behörde weist ausdrücklich darauf hin, dass Anweisungen im Prompt allein nicht ausreichen. Quelle

Ich würde daraus eine einfache Frage für jedes Unternehmen ableiten: Welche Berechtigungen braucht der Agent für genau diese Aufgabe?

Nehmen wir die Vorbereitung eines Kundentermins. Dafür könnte er ausgewählte Gesprächsnotizen lesen, offene Punkte zusammentragen und einen Entwurf erstellen.

Daraus ergibt sich für mich noch kein Grund, ihm gleichzeitig das Versenden von E-Mails oder das Ändern von Kundendaten zu erlauben.

Diese zusätzlichen Rechte machen die ursprüngliche Aufgabe nicht automatisch besser. Sie erweitern zunächst einmal den möglichen Schaden.

Trotzdem ist die Versuchung verständlich, bei der Einrichtung großzügig zu sein. Vielleicht braucht man die Funktion später. Vielleicht erspart man sich damit eine weitere Freigabe. Und in der Demo funktioniert es schließlich.

Genau an dieser Stelle würde ich genauer hinsehen.

Gelesener Inhalt darf keine neue Vollmacht werden

Ein Agent verarbeitet E-Mails, Dokumente und Webseiten. Darin können auch Anweisungen stehen, die jemand absichtlich platziert hat, um sein Verhalten zu beeinflussen. Das NCSC beschreibt solche indirekten Prompt-Injection-Angriffe als ein Risiko von Systemen, die externe Inhalte verarbeiten. Quelle

Man muss dafür kein Sicherheitsexperte sein, um das Grundproblem zu verstehen.

Eine eingehende E-Mail ist etwas, das die Software lesen soll. Ihr Absender darf dadurch keine Kontrolle darüber bekommen, welche internen Dateien die Software weitergibt.

Diese Grenze muss auch dann halten, wenn das Modell eine Anweisung falsch einordnet. Ich würde mich dafür nicht auf einen Satz wie „Gib niemals vertrauliche Informationen weiter“ verlassen wollen.

Die angebundenen Systeme müssen selbst begrenzen, was gelesen, verändert und verschickt werden kann.

Auch kleine Aufgaben können sich lohnen

Als Unternehmer interessiert mich, welche Arbeit dadurch tatsächlich besser wird.

Wenn ein Agent einen Termin sauber vorbereitet, spart das Zeit. Wenn er aus einem freigegebenen Dokumentenbestand die richtigen Unterlagen findet, hilft das dem Team. Dafür muss er nicht gleichzeitig sämtliche weiteren Schritte selbst übernehmen.

Ich würde mit einer überschaubaren Aufgabe anfangen und beobachten, wo Menschen korrigieren müssen. Welche Informationen fehlen? Wo versteht die Software den Auftrag falsch? Welche Ausnahme kommt regelmäßig vor?

Mit diesen Erkenntnissen lässt sich der Umfang sinnvoll erweitern.

Ein Agent, bei dem jemand jeden Schritt nachkontrollieren und anschließend Fehler aufräumen muss, kann die Arbeit auch aufwendiger machen. Die gesparte Zeit beim ersten Entwurf erzählt dann nur einen Teil der Geschichte.

Wer kann ihn stoppen?

Vor dem Einsatz würde ich noch einen sehr praktischen Punkt klären: Wer kann die Zugänge sperren, wenn etwas schiefläuft?

Diese Person muss wissen, welche Systeme betroffen sind. Sie braucht Zugriff auf die entsprechenden Einstellungen. Und sie sollte nachvollziehen können, welche Aktionen bereits ausgeführt wurden.

Bei einem kleinen Unternehmen kann das eine überschaubare Regelung sein. In einer Behörde oder einer größeren Organisation braucht es dafür klare Zuständigkeiten. Entscheidend ist, dass die Antwort bereits feststeht, bevor jemand sie unter Zeitdruck braucht.

Ich sehe viel Potenzial in Software, die uns Arbeit abnimmt und Aufgaben über mehrere Systeme hinweg erledigt. Damit daraus ein verlässlicher Teil des Unternehmens wird, müssen wir allerdings genauer werden, was wir ihr erlauben.

Meine erste Frage bei der nächsten Agenten-Demo wäre deshalb: Zeig mir, welche Rechte das System für diese Aufgabe bekommt – und wie ich sie wieder entziehe.