Plattform · Agenten absichern
Was ein Agent darf, steht nicht in der Nachricht.
Ein KI-Agent liest E-Mails, Formulare und Tickets, also auch Text, den jemand anderes geschrieben hat. Eine Nachricht kann versuchen, ihn zu etwas zu verleiten, das er nicht tun soll. Deshalb regeln wir, was ein Agent darf, serverseitig und nicht im Prompt, legen Freigaben nach Ihren Regeln fest und prüfen ihn vor dem Livegang manuell, durch das Team, das auch unsere Penetrationstests durchführt.
kostenlos · 30 Minuten · telefonisch oder online
Neue Anfrage
„Bei Anlage X tritt Fehler Y auf …“
Klassifiziert
Service & Technik
Wissen über NXN RAG
Frühere Fälle und Protokolle – mit Quelle
Antwort vorbereitet
Entwurf liegt zur Prüfung bereit
- Freigabe durch den MenschenPrüfen
Einordnung
Je mehr eine KI tun darf, desto genauer die Grenzen.
Assistent
Beantwortet Fragen, die ein Mensch stellt. Der Mensch sieht die Antwort und entscheidet, was er damit tut.
Fester Ablauf
Folgt Regeln, die vorher feststehen. Was er tut, ist vorhersehbar.
Agent
Liest Eingänge von außen, ordnet ein, holt Wissen und bereitet vor, auf Wunsch mit Aktionen in anderen Systemen. Er verarbeitet Text, den andere geschrieben haben. Deshalb ist er der Fall mit der größten Angriffsfläche.
Ob ein Agent oder ein fester Ablauf zu Ihrer Aufgabe passt, ist eine eigene Frage. → KI-Agenten: Agent oder Ablauf?
Angriffsfläche
Vier Stellen, an denen es darauf ankommt.
Glied 1: Eine Nachricht mit versteckter Anweisung
Eine E-Mail oder ein Formular enthält Text, der den Agenten zu etwas bewegen soll, das nicht seine Aufgabe ist.
Glied 2: Zu weite Rechte
Darf der Agent mehr lesen oder tun, als seine Aufgabe braucht, reicht eine erfolgreiche Manipulation weiter.
Glied 3: Aktion ohne Entscheidung
Wird eine Antwort versendet oder ein Vorgang angelegt, ohne dass es vorher geregelt war, merkt es niemand rechtzeitig.
Glied 4: Kein Protokoll
Lässt sich später nicht nachvollziehen, was der Agent getan hat, bleibt ein Fehler unentdeckt.
Prompt Injection heißt die Manipulation über Text: Anweisungen, die in einer Eingabe versteckt sind und das Verhalten einer KI ändern sollen. Kommt die Anweisung über ein Dokument oder eine E-Mail statt direkt vom Nutzer, spricht man von indirekter Prompt Injection.
Grenzen
Für jede Stelle eine Antwort.
Jede Grenze antwortet auf eine Stelle aus der Kette darüber. Sie gelten für NXN Agent.
- Antwort auf Glied 1
Rechte serverseitig, nicht im Prompt.
NXN Agent nutzt ein eigenes Rollenmodell wie NXN RAG. Was der Agent darf, regeln Rollenmodell und Rechte serverseitig, nicht der Text einer Nachricht.
- Antwort auf Glied 2
Nur so viel Zugriff wie nötig.
Eine Anwendung darf nur, was sie für ihre Aufgabe braucht. Mit NXN RAG liest der Agent Ihr Wissen nur lesend, mit Quelle und ohne Zweitablage. Schreibende Aktionen in anderen Systemen gibt es nur, wo Sie sie festlegen.
- Antwort auf Glied 3
Freigabe nach Ihren Regeln.
Sie legen fest, was ein Mensch freigeben muss. Wo eine Freigabe nötig ist, entscheidet ein Mensch: freigeben, bearbeiten oder verwerfen. Findet der Agent keine Grundlage, bereitet er keinen Entwurf vor, sondern übergibt an die zuständige Person oder Gruppe.
- Antwort auf Glied 4
Audit-Log.
Protokolliert wird, was eingegangen ist, was der Agent vorbereitet oder ausgeführt hat und wer wann freigegeben, bearbeitet oder verworfen hat.
Keine dieser Grenzen macht einen Agenten unangreifbar. Zusammen sorgen sie dafür, dass ein Versuch wenig ausrichten kann und nachvollziehbar bleibt.
Prüfung
Erst geprüft, dann im Alltag.
Schritt 1: Regeln und Rechte festlegen.
Eingang, Kategorien, Zuständigkeiten, Freigaben und Rechte legen wir vor der Umsetzung gemeinsam mit Ihnen fest und halten sie schriftlich fest.
Schritt 2: Manuell auf Sicherheit prüfen.
Unsere Sicherheitsforscher prüfen den Agenten wie jedes andere System, auch mit manipulierten Nachrichten.
Schritt 3: Befunde beheben.
Was die Prüfung zeigt, stellen wir ab, bevor echte Anfragen ankommen.
Schritt 4: Mit echten Fällen starten.
Der Agent arbeitet auf Ihren realen Anfragen, bevor er in den Alltag geht.
Geprüft von denen, die sonst angreifen.
Die Prüfung macht dasselbe Team, das unsere manuellen Pentests durchführt: aktive Sicherheitsforscher und Bug-Bounty-Hunter, die Schwachstellen auch außerhalb von Kundenprojekten suchen und verantwortungsvoll melden. KI-Anwendungen gehören zu den Systemen, die wir prüfen, ebenso wie Netzwerke, Web-Anwendungen und Cloud.
Grenzen, die aktuell bleiben.
Ein Agent ändert sich mit Ihren Abläufen. Zugriffe und Freigaben halten wir aktuell, jede Aktion ist im Audit-Log nachvollziehbar. Neue Modellversionen testen wir, bevor sie Ihre Abläufe erreichen. Ergebnisse prüfen wir regelmäßig gegen Beispielfälle aus Ihrem Alltag, auch nach jeder Änderung. Betrieb, Updates und Pflege von NXN Agent übernehmen wir, auch wenn er in Ihrer Umgebung läuft.
Wie unser Betrieb aussiehtUnd bei Agenten mit anderen Werkzeugen?
Die Grenzen auf dieser Seite gelten für NXN Agent. Für Agenten, die wir mit anderen Werkzeugen umsetzen, legen wir Datenweg und Rechte vor der Umsetzung fest und dokumentieren sie. Vor dem Livegang prüfen wir jede KI-Anwendung manuell, wie jedes andere System.
Protokoll mit klarem Zweck.
Das Audit-Log dient der Nachvollziehbarkeit, nicht der Auswertung von Mitarbeitenden. Weil Entscheidungen personenbezogen protokolliert werden, kann die Einführung ein Thema für die Mitbestimmung sein. Diese klären Sie mit Ihrem Betriebsrat. Wir beschreiben Ihnen dafür, was protokolliert wird und wozu. Eine Rechtsberatung ersetzt das nicht.
FAQ
Häufige Fragen
Bevor ein Agent mitliest, reden wir über Grenzen.
Schildern Sie uns, welche Anfragen ein Agent bei Ihnen vorbereiten soll. Wir sagen Ihnen, welche Rechte er braucht, welche Freigaben sinnvoll sind und wie wir ihn vor dem Livegang prüfen.
kostenlos · 30 Minuten · telefonisch oder online
Lieber direkt? kontakt@netzexperten.net · 02151-4547786 · Unser Team meldet sich persönlich.