AI kann Kundenservice, Dokumentenanalyse, Vertrieb, Reporting und Büroarbeit beschleunigen. In einem Unternehmen reicht es jedoch nicht aus, einen Chatbot oder KI-Agenten zu starten und ihm Zugriff auf Daten zu geben. Es muss klar festgelegt werden, welche Informationen an das Modell übermittelt werden dürfen, wer das System nutzen darf, was AI eigenständig tun darf, wann eine Entscheidung von einem Menschen getroffen werden muss und wie das Unternehmen Logs, Berechtigungen, Integrationen sowie vertrauliche Daten kontrolliert.
Die schnellste Antwort ist: AI-Sicherheit im Unternehmen: RODO, Logs, Berechtigungen, Prompt Injection und vertrauliche Daten
Expertenleitfaden zur sicheren Einführung von AI im Unternehmen: vertrauliche Daten, RODO, Prompt Injection, Rollen, Berechtigungen, AI-Agenten, Audit-Logs, API-Integrationen, RAG, Monitoring und menschliche Kontrolle.
Der wichtigste Gedanke
Sichere AI im Unternehmen bedeutet nicht, dem Modell uneingeschränkt zu vertrauen. Es bedeutet, dass das Modell in einem gut konzipierten Prozess arbeitet: mit begrenztem Datenzugriff, Rollen, Logs, menschlicher Kontrolle, Monitoring und klaren Regeln für die Nutzung von AI durch Mitarbeitende.
Warum ist AI-Sicherheit wichtig?
Die Einführung von AI im Unternehmen beginnt häufig mit einer einfachen Idee: ein Chatbot auf der Website, ein KI-Agent für E-Mails, automatische Zusammenfassungen von Dokumenten, Klassifizierung von Anfragen, Erstellung von Angeboten oder Suche nach Informationen in der unternehmenseigenen Wissensdatenbank. Das Problem entsteht, wenn das Tool mit realen Kundendaten, Rechnungen, Verträgen, E-Mails, Angeboten, technischer Dokumentation oder Mitarbeiterdaten arbeitet.
Sichere AI im Unternehmen bedeutet nicht, die Technologie vollständig zu vermeiden. Es geht darum, den Prozess so zu gestalten, dass AI Mitarbeitende unterstützt, aber keinen unkontrollierten Zugriff auf Daten, Systeme und Entscheidungen erhält. Das ist ein technisches, organisatorisches und operatives Projekt – nicht nur die Auswahl eines Sprachmodells.
- Mitarbeitende können Kundendaten, Verträge oder interne Dokumente in öffentliche Tools einfügen
- AI kann einen zu weitreichenden Zugriff auf die Wissensdatenbank, Dokumente oder das CRM haben
- ein Chatbot kann Informationen offenlegen, die ein Kunde nicht sehen sollte
- ein KI-Agent kann eine Aktion vorbereiten oder ausführen, ohne dass ein Mensch sie freigibt
- ohne Logs lässt sich schwer feststellen, wer AI mit welchen Daten genutzt hat und welches Ergebnis entstanden ist
- das Fehlen einer Richtlinie zur AI-Nutzung führt dazu, dass jede Abteilung Tools unterschiedlich einsetzt
- API-Integrationen erhalten zu häufig vollständige Berechtigungen statt eines minimal erforderlichen Umfangs
- niemand überwacht die Qualität von Antworten, Ablehnungen, Fehlern und Vorfällen
Welche Daten dürfen an AI übermittelt werden?
Der erste Schritt zu einer sicheren AI-Einführung ist die Klassifizierung von Daten. Das Unternehmen sollte wissen, welche Informationen öffentlich, intern, vertraulich, personenbezogen, finanziell oder geschäftlich besonders sensibel sind. Erst dann lässt sich entscheiden, welche Daten an das Modell gesendet werden dürfen, welche anonymisiert werden sollten und welche überhaupt nicht an AI übermittelt werden sollten.
In der Praxis sollte ein AI-System nach dem Prinzip der Datenminimierung konzipiert sein. Das Modell sollte nicht die gesamte Kundendatenbank erhalten, wenn es für die Antwort nur einen einzelnen Dokumentausschnitt benötigt.
- KI sollte nur den Kontext erhalten, der für die konkrete Aufgabe erforderlich ist
- der Datenzugriff sollte von der Rolle des Benutzers abhängen
- wo möglich, empfiehlt sich der Einsatz von Anonymisierung oder Pseudonymisierung
- Vorgänge mit sensiblen Daten sollten eine menschliche Freigabe erfordern
- Logs sollten vollständige Inhalte vertraulicher Daten nicht unnötig speichern
| Datenkategorie | Beispiele | Ansatz für AI |
|---|---|---|
| Öffentliche Daten | Website, Angebot, allgemeine FAQ | können nach Freigabe der Inhalte eine öffentliche Wissensdatenbank speisen |
| Interne Daten | Verfahren, Anweisungen, Arbeitsstandards | Zugriff nach Rollen, ohne Bereitstellung für externe Kunden |
| Kundendaten | E-Mails, Anfragen, Bestellhistorie | Minimierung, Zugriffskontrolle, Logs und ein klarer Verarbeitungszweck |
| Mitarbeiterdaten | HR, Onboarding, Bewertungen, Personalunterlagen | hohes Maß an Einschränkungen, menschliche Kontrolle und Compliance-Abstimmung |
| Finanzdaten | Rechnungen, Margen, Zahlungen, Budgets | Validierung, eingeschränkte Rollen, keine automatischen Hochrisiko-Entscheidungen |
| Geschäftsgeheimnis | Preislisten, Know-how, Verträge, Strategien | geschlossene Wissensdatenbank, RBAC, Verbot öffentlicher Tools ohne Kontrolle |
| Technische Geheimnisse | API-Tokens, Passwörter, Schlüssel, Konfigurationen | sollten nicht in Prompts oder Antwort-Logs der KI gelangen |
KI, DSGVO und personenbezogene Daten
KI kann personenbezogene Daten verarbeiten, wenn ein Unternehmen sie zur Analyse von E-Mails, Dokumenten, Tickets, Kundengesprächen, Recruiting, HR, Kundenservice oder zur Prozessautomatisierung einsetzt. In diesem Fall muss festgelegt werden, welche Daten verarbeitet werden, zu welchem Zweck, durch wen, auf welcher Grundlage und in welcher technischen Umgebung.
Dieser Abschnitt hat einen technologisch-organisatorischen Charakter und ersetzt keine rechtliche Analyse. Bei Implementierungen, die personenbezogene Daten umfassen, empfiehlt es sich, den Prozess mit einem Rechtsberater, Datenschutzbeauftragten oder einer für Compliance verantwortlichen Person abzustimmen.
- Datenminimierung und klare Festlegung des Verarbeitungszwecks
- Kontrolle des Zugriffs auf das Tool, die Eingabedaten und die Logs
- Festlegung der Aufbewahrungsdauer für Daten sowie der Regeln für deren Löschung
- Überprüfung, wo die Daten technisch verarbeitet werden und welche Parteien am Prozess beteiligt sind
- Auftragsverarbeitungsverträge oder andere Dokumente, sofern sie im jeweiligen Kooperationsmodell erforderlich sind
- Verfahren zur Reaktion auf Vorfälle sowie auf die fehlerhafte Offenlegung von Daten
- Verzeichnis der Aktivitäten, Aktionshistorie und Beschränkung des Zugriffs auf Audit-Logs
Vertrauliche Daten und Geschäftsgeheimnisse
Viele Unternehmen konzentrieren sich ausschließlich auf personenbezogene Daten, doch ebenso wichtig sind Geschäftsdaten: Margen, Preislisten, Geschäftsbedingungen, Verträge, Vertriebsstrategien, Kundendatenbanken, technische Projekte, Angebotsunterlagen und Informationen über interne Prozesse.
AI kann bei der Arbeit mit Unternehmenswissen sehr hilfreich sein, jedoch nur dann, wenn das System weiß, wer fragt, auf welche Dokumente diese Person Zugriff hat und ob die Antwort dieser Person angezeigt werden darf.
- individuelle Preislisten, Margen und Vertragsbedingungen
- Verkaufsangebote, Ausschreibungsunterlagen und Vertriebsstrategien
- Kundendatenbanken, Segmente, CRM-Notizen und Kontakthistorie
- technische Dokumentation, Know-how und operative Verfahren
- Produktpläne, Finanzberichte und Rentabilitätsdaten
- interne Anweisungen, die nicht an Kunden gelangen sollten
| Risiko | Beispiel | Schutzmaßnahme |
|---|---|---|
| Zu breit gefasste Wissensbasis | Kunden-Chatbot sieht interne Dokumente | Trennung von Wissensbasen und Filterung nach Kanal |
| Fehlende Berechtigungskontrolle | Vertriebsmitarbeiter fragt nach Margen des gesamten Unternehmens | RBAC und Zugriffskontrolle für Dokumente |
| Öffentliche AI-Tools | Mitarbeiter fügt einen Vertrag in einen externen Chat ein | Richtlinie zur AI-Nutzung und freigegebene Tools |
| Unvollständige Logs | keine Information darüber, wer die Antwort generiert hat | Audit-Logs mit Begrenzung sensibler Daten |
| Automatischer Versand | AI versendet eine Antwort mit einem falschen Preis | Human in the Loop für Kommunikation mit hohem Risiko |
Prompt Injection — was ist das und warum ist es wichtig?
Die wichtigste Regel: Ein KI-Agent sollte nicht mehr Berechtigungen haben, als für seine Aufgabe erforderlich sind. Wenn das Modell manipuliert wird, reduzieren eingeschränkte Berechtigungen die Auswirkungen eines Fehlers.
Prompt Injection ist eine Situation, in der ein Nutzer, ein Dokument, eine Website, eine E-Mail oder ein anderer Inhalt versucht, das Verhalten eines AI-Modells in einer Weise zu beeinflussen, die nicht der Intention des Systems entspricht. Beispielsweise kann ein Text versuchen, die AI dazu zu bewegen, Anweisungen zu ignorieren, Daten offenzulegen, eine nicht autorisierte Aktion auszuführen oder Sicherheitsregeln zu umgehen.
Das Risiko ist besonders relevant in Systemen, die nicht vertrauenswürdige Inhalte analysieren: Kundennachrichten, Anhänge, Websites, externe Dokumente, Tickets, Formulare oder eine von vielen Nutzern erstellte Wissensbasis.
- der Chatbot erhält eine Nachricht wie „Ignoriere frühere Anweisungen“
- ein KI-Agent liest eine E-Mail mit einer versteckten, an das Modell gerichteten Anweisung
- ein Dokument in der Wissensdatenbank enthält eine Anweisung, die nicht für die AI bestimmt ist
- ein an das CRM angebundener Agent wird dazu verleitet, Daten offenzulegen
- ein RAG-System ruft ein Dokument ab, das versucht, die Antwortregeln zu ändern
| Kontrolle | Was begrenzt wird |
|---|---|
| Trennung von Anweisungen und Benutzerdaten | verringert das Risiko, dass externe Inhalte die Steuerung übernehmen |
| Minimale Berechtigungen für AI | begrenzt die Auswirkungen einer Manipulation, falls sich das Modell fehlerhaft verhält |
| Validierung von Aktionen vor der Ausführung | blockiert Vorgänge außerhalb des zulässigen Umfangs |
| Allowlist für Tools und Operationen | ermöglicht nur die Ausführung bekannter, beschriebener Aktionen |
| Mensch auf dem Laufenden | erzwingt die Freigabe durch einen Menschen bei kritischen Angelegenheiten |
| Missbrauchstests | prüfen Szenarien von Versuchen, Anweisungen zu umgehen und Daten offenzulegen |
Benutzerberechtigungen und RBAC
Ein sicheres AI-System muss wissen, wer es nutzt. Andere Informationen darf die Geschäftsführung sehen, andere der Vertrieb, andere die Buchhaltung, andere HR und wieder andere ein Kunde in einem externen Chatbot. Deshalb ist RBAC, also die Zugriffskontrolle auf Basis von Rollen, die Grundlage.
AI sollte das unternehmensinterne Berechtigungsmodell nicht umgehen. Wenn ein Mitarbeiter keinen Zugriff auf ein Dokument im System hat, sollte er dessen Inhalt nicht über AI erhalten.
- Zugriff auf konkrete Wissensdatenbanken und Dokumente
- Möglichkeit zur Ausführung von Lese- oder Schreibaktionen
- Zugriff auf Logs, Exporte und Prompt-Konfigurationen
- Verwaltung von Integrationen, Token und technischen Konten
- Freigabe von AI-Antworten sowie von Hochrisiko-Operationen
| Rolle | Zugriff auf AI | Beispielhafte Einschränkungen |
|---|---|---|
| Verwaltung | Konfiguration, Benutzer, Integrationen | überwachter Zugriff, Konfigurationsänderungen werden protokolliert |
| Geschäftsführung | Berichte, Zusammenfassungen, Dashboards | kein Zugriff auf operative Daten außerhalb des erforderlichen Umfangs |
| Verwaltung | Teamangelegenheiten, KPI, Anfragen | Zugriff auf Daten des eigenen Bereichs |
| Vertrieb | CRM, Angebotsentwürfe, Follow-up | kein Zugriff auf globale Margen und HR-Daten |
| Buchhaltung | Rechnungen, Zahlungen, Dokumente | Freigabe durch eine Person für Korrekturen und finanzielle Entscheidungen |
| HR-Abteilungen | Mitarbeiterdokumente, Onboarding | hoher Schutz von Mitarbeiterdaten |
| Externer Kunde | FAQ, Vorgangsstatus, eigene Dokumente | kein Zugriff auf interne Quellen |
| Technisches Konto | ausgewählte APIs und automatische Aktionen | minimale Berechtigungen, Rotation von Secrets, Logs |
KI-Agent und Zugriff auf Unternehmenssysteme
Ein KI-Agent unterscheidet sich von einem gewöhnlichen Chatbot dadurch, dass er nicht nur antworten, sondern auch Aktionen ausführen kann: Aufgaben erstellen, Nachrichten senden, Daten abrufen, das CRM aktualisieren, Dokumente generieren, Anfragen klassifizieren oder Workflows starten. Das bedeutet einen höheren Nutzen, aber auch ein höheres Risiko.
Das sicherste Einführungsmodell besteht häufig darin, dass AI eine Empfehlung oder einen Entwurf für eine Aktion vorbereitet und ein Mensch die Ausführung freigibt. So nutzt das Unternehmen die Geschwindigkeit von AI, behält aber an Stellen mit hohem Risiko die Verantwortung.
- Auslesen von Daten aus dem CRM oder Ticketsystem
- Suche nach Dokumenten und Verfahren
- Klassifizierung von Vorgängen, E-Mails und Anfragen
- Erstellung von Aufgaben und Notizen
- Vorbereitung eines Antwortentwurfs für den Kunden
- Generierung eines Berichts oder einer Zusammenfassung
- Ergänzung von Feldern, Statusangaben oder Tags
- Starten eines Freigabeprozesses
- Intention
Das System erkennt, was der Benutzer tun möchte und ob dies in den Aufgabenbereich des Agenten fällt.
- Berechtigungen
Die Anwendungsschicht prüft die Rolle des Benutzers und den Datenumfang.
- Daten
Die KI erhält nur den minimalen Kontext, der für die Aufgabe erforderlich ist.
- Aktionsentwurf
Der Agent erstellt einen Entwurf einer Antwort, Aufgabe oder Änderung.
- Freigabe
Eine Person bestätigt kritische Vorgänge vor deren Ausführung.
- Protokoll
Das System protokolliert, wer wann mit welchen Daten welche Aktion ausgeführt hat.
Logs, Audit und Aktionshistorie
In einem unternehmensinternen AI-System sind Logs entscheidend. Ohne Logs lässt sich nur schwer feststellen, wer das Tool genutzt hat, welche Daten verwendet wurden, welche Antwort generiert wurde, ob ein Agent eine Aktion ausgeführt hat und ob ein Fehler aufgetreten ist.
Gute Logs dienen nicht dazu, Mitarbeitende um der Kontrolle willen zu kontrollieren. Sie dienen der Sicherheit, Qualität, Nachvollziehbarkeit und der Möglichkeit zu erklären, was im System geschehen ist.
- Benutzer, Rolle und Zeitpunkt der Anfrage
- Aktionstyp: Frage, Suche, Klassifizierung, Antwortentwurf, Speicherung
- für die Antwort verwendete Datenquellen
- von der AI ausgeführte Aktionen und menschliche Entscheidungen
- Fehler, Ausführungsverweigerungen und Eskalationen
- Version des Prompts, der Konfiguration, des Modells oder der Wissensdatenbank
- Prozessstatus sowie Kennung des Falls oder Dokuments
| Regel | Warum sie wichtig ist |
|---|---|
| Beschränkter Zugriff | Logs können sensible Daten oder operative Informationen enthalten |
| Minimierung der Inhalte | es ist nicht immer erforderlich, den vollständigen Prompt und die vollständige Antwort zu speichern |
| Aufbewahrung | das Unternehmen sollte wissen, wie lange es Logs speichert |
| Änderungsaudit | Änderungen an Prompts, Rollen und Integrationen sollten nachvollziehbar erklärbar sein |
| Fehlerdiagnose | Logs sollten dabei helfen, die Qualität zu verbessern und Vorfälle zu erkennen |
Menschliche Kontrolle und Human in the Loop
Nicht jeder Prozess sollte vollständig automatisiert werden. In vielen Bereichen sollte AI den Menschen unterstützen, jedoch nicht die endgültige Entscheidung treffen. Dies gilt insbesondere für Finanzdaten, rechtliche Daten, HR, Reklamationen, Angebote, Verträge und die Kundenkommunikation.
Human in the Loop bedeutet nicht, dass AI wenig nützlich ist. Es bedeutet, dass das Unternehmen bewusst entscheidet, welche Aufgaben automatisiert werden können und welche menschliche Verantwortung erfordern.
- AI bereitet eine Antwort an den Kunden vor, aber ein Mitarbeiter gibt sie frei
- AI klassifiziert ein Dokument, aber die Buchhaltung bestätigt die Kategorie
- AI schlägt die Priorität eines Tickets vor, aber ein Manager kann sie ändern
- AI generiert ein Angebot, aber der Vertriebsmitarbeiter prüft Preis, Umfang und Bedingungen
- AI fasst einen Vertrag zusammen, aber die verantwortliche Person trifft die Entscheidung
- AI weist auf Risiken hin, ersetzt jedoch keine rechtliche Analyse oder Compliance-Prüfung
Sicherheit von API-Integrationen
AI-Implementierungen erfordern häufig Integrationen mit CRM, ERP, Dokumentensystem, E-Mail, Kalender, Wissensdatenbank, Ticketsystem, Buchhaltung oder Data Warehouse. Jede Integration erweitert die Möglichkeiten des Systems, erfordert aber auch Sicherheitsmaßnahmen.
Der größte Fehler besteht darin, einem KI-Agenten vollständigen Zugriff auf ein System zu geben, nur weil dies technisch am einfachsten ist. Ein technisches Konto sollte minimale Berechtigungen haben, und die Anwendungsschicht sollte jede Operation validieren.
- minimale Berechtigungen für Tokens und separate technische Konten
- Schlüsselrotation und sichere Speicherung von Secrets
- Anfragelimits, Datenvalidierung und Fehlerbehandlung
- Integrationslogs, Retry-Mechanismen, Monitoring und Alerts
- Sperrung nicht autorisierter Operationen und Testumgebung
- Integrationsdokumentation, Prozesseigner und Notfallverfahren
| Bereich | Risiko | Technische Kontrolle |
|---|---|---|
| Tokens | Schlüsselverlust oder zu weitreichende Berechtigungen | Secrets außerhalb des Codes, Rotation, minimaler Berechtigungsumfang |
| Schreibaktionen | AI ändert Daten ohne Kenntnis des Nutzers | Bestätigung, Allowlist für Operationen, Aktionslog |
| Limits | Kosten, Überlastung oder Sperrung der API | Rate Limit, Retry mit Limit, Fehlerwarteschlange |
| Validierung | Speicherung unvollständiger oder fehlerhafter Daten | Datenschemata und Kontrolle der Pflichtfelder |
| Fehler | Verlust der Synchronisation zwischen Systemen | Alerts, Integrations-Dashboard und Verfahren zur manuellen Korrektur |
Wissensdatenbank und RAG
RAG, also das Abrufen relevanter Wissensfragmente für die Antwort des Modells, kann die Nutzbarkeit von KI deutlich verbessern. Anstatt aus dem allgemeinen Gedächtnis des Modells zu antworten, nutzt das System freigegebene Dokumente, Verfahren, FAQ, Leistungsbeschreibungen, Preislisten, Regelwerke oder Anleitungen.
RAG löst das Sicherheitsproblem nicht automatisch. Dokumente müssen einen Eigentümer, eine Version, Metadaten, Kategorien, Berechtigungen und einen Aktualisierungsprozess haben. Das System sollte die Quellen der Antwort anzeigen und eine Bewertung ermöglichen, ob die Antwort auf den richtigen Dokumenten basiert.
- KI kann ein altes Dokument verwenden, wenn die Wissensdatenbank nicht aktualisiert wird
- ein Benutzer sollte keine Antwort aus einem Dokument erhalten, auf das er keinen Zugriff hat
- Dokumente können widersprüchliche Informationen enthalten und erfordern Prioritäten für Quellen
- die Wissensdatenbank kann Anweisungen enthalten, die nicht für KI vorgesehen sind
- das Modell kann ohne ausreichenden Kontext antworten, wenn das Retrieval zu schwach ist
| Artikel | Praktische Bedeutung |
|---|---|
| Dokumentverantwortlicher | es ist bekannt, wer für die Aktualität der Inhalte verantwortlich ist |
| Versionierung | es lässt sich nachvollziehen, welche Version für die Antwort verwendet wurde |
| Metadaten und Kategorien | das System wählt Quellen passender zur Frage aus |
| Dokumentberechtigungen | RAG berücksichtigt die Zugriffsrechte des Nutzers |
| Antworttests | sie prüfen, ob die KI die richtigen Quellen verwendet |
| Aktualisierungsprozess | die Wissensdatenbank wird nicht zu einem Archiv veralteter Informationen |
Architektur eines sicheren KI-Systems
Ein sicheres KI-System sollte nicht auf einer direkten Verbindung des Modells mit der gesamten Unternehmensinfrastruktur beruhen. Zwischen Nutzer, Modell und Daten sollte eine Anwendungsschicht bestehen, die Berechtigungen prüft, den Datenumfang begrenzt, Aktivitäten protokolliert und dort eine Freigabe verlangt, wo dies erforderlich ist.
In der Praxis bedeutet dies mehrere Schichten: ein Frontend für Nutzer, ein Backend mit Geschäftslogik, eine KI-Schicht, eine Datenschicht, Integrationen sowie eine Sicherheits- und Betriebsschicht.
Frontend
Nutzerbereich, Administrationsbereich, Anfragehistorie, Zugriffseinstellungen, Ansicht zur Freigabe von KI-Aktionen und klare Sicherheitshinweise.
Hintergrund
Geschäftslogik, Berechtigungskontrolle, Vermittler zwischen Benutzer und Modell, Validierung von Anfragen, Datenfilterung, Verarbeitung von AI-Aktionen, Logs, Monitoring und Integrationen.
AI-Schicht
Sprachmodell, System-Prompt, Tools, Konfiguration von Limits, Antwortregeln, Sicherheitsklassifikatoren sowie RAG-Mechanismus.
Datenebene
Wissensdatenbank, Dokumente, Metadaten, Dokumentberechtigungen, Versionshistorie und Datenquellen.
Integrationen
CRM, ERP, E-Mail, Dokumente, Buchhaltung, Ticketsystem, Kalender, Dashboards und Data Warehouse.
Sicherheitsschicht
RBAC, Login, Verschlüsselung der Übertragung, sichere Secrets, Audit-Logs, Alerts, Backup, Monitoring, Testumgebung und Exportkontrolle.
- Benutzer
Meldet sich an und stellt eine Frage im Kontext seiner Rolle.
- Hintergrund
Prüft Berechtigungen, den Zweck der Anfrage und zulässige Quellen.
- RAG
Ruft ausschließlich Dokumentfragmente ab, die für den Benutzer zugänglich sind.
- Modell
Generiert eine Antwort innerhalb der Vorgaben und des verfügbaren Kontexts.
- Kontrolle
Das System blockiert oder eskaliert Antworten mit hohem Risiko.
- Audit
Protokolliert Quellen, Ergebnis, Aktionen und gegebenenfalls die Freigabe durch einen Menschen.
Monitoring, Tests und Wartung von AI
Die Einführung von AI endet nicht am Tag der Inbetriebnahme. Modelle, Daten, Prozesse und Nutzeranforderungen verändern sich im Laufe der Zeit. Daher benötigt ein AI-System Monitoring, Tests und regelmäßige Überprüfung.
AI erfordert Wartung ähnlich wie andere Unternehmenssysteme. Der Unterschied besteht darin, dass neben dem technischen Betrieb auch die Qualität der Antworten und die Übereinstimmung des Verhaltens mit dem Unternehmensprozess überwacht werden müssen.
- Tests zur Korrektheit von Antworten und Quellen
- Tests zu Prompt Injection sowie zu Versuchen, Anweisungen zu umgehen
- Tests von Berechtigungen und Zugriff auf Dokumente
- Tests von Integrationen, Fehlern und Grenzszenarien
- Tests zur Ablehnung gefährlicher Aktionen
- regelmäßige Überprüfung der Wissensbasis, Prompts und Logs
| Kategorie | Beispielhafte Metriken |
|---|---|
| Nutzung | Anzahl der Anfragen, aktive Benutzer, häufigste Intents |
| Qualität | Bewertungen von Antworten, Korrekturen durch Benutzer, fehlerhafte Antworten |
| Sicherheit | Antwortverweigerungen, Prompt-Injection-Versuche, Vorfälle |
| RAG | für Antworten verwendete Quellen, Aktualität der Dokumente, fehlender Kontext |
| Agenten | durch KI ausgeführte Aktionen, abgelehnte Aktionen, Eskalationen an Menschen |
| Kosten | Modellkosten, Antwortzeit, Token- oder Anfragevolumen |
| Integrationen | API-Fehler, Retries, Limits, Nichtverfügbarkeit von Systemen |
Richtlinie zur Nutzung von KI im Unternehmen
Selbst das beste technische System ersetzt keine klaren Regeln. Ein Unternehmen sollte eine Richtlinie zur Nutzung von KI erstellen, die den Mitarbeitenden erklärt, was erlaubt ist, was nicht erlaubt ist und wie die Tools verantwortungsvoll genutzt werden.
Eine KI-Richtlinie sollte praktisch anwendbar sein und nicht nur formal bestehen. Mitarbeitende sollten wissen, ob sie den Inhalt einer E-Mail eines Kunden, einen Vertragsauszug, Daten aus einer Rechnung, eine Lead-Datenbank oder ein internes Dokument einfügen dürfen.
- welche KI-Tools im Unternehmen zugelassen sind
- welche Daten nicht in KI eingefügt werden dürfen
- wer KI nutzen darf und für welche Aufgaben
- wann eine menschliche Kontrolle erforderlich ist
- wie von KI generierte Inhalte zu kennzeichnen sind, sofern der Prozess dies erfordert
- wie Fehler, Vorfälle und verdächtige Antworten zu melden sind
- wer für die Aktualisierung der Regeln und die Schulung des Teams verantwortlich ist
- welche Regeln für Kundendaten, Mitarbeiterdaten und vertrauliche Dokumente gelten
MVP einer sicheren KI-Implementierung
Eine sichere KI-Implementierung beginnt am besten mit einem begrenzten MVP. Es ist nicht erforderlich, KI sofort an alle Systeme des Unternehmens anzubinden. Die erste Phase sollte einen klaren Umfang, begrenzte Daten, eingeschränkte Berechtigungen und menschliche Kontrolle haben.
Ein MVP ermöglicht es, den Nutzen von KI zu prüfen und gleichzeitig das Risiko zu begrenzen. Erst nach Tests sollte der Zugriff auf Daten, Integrationen und Aktionen erweitert werden.
- ein Prozess und eine Benutzergruppe
- begrenzte Wissensbasis sowie grundlegende Rollen
- keine automatisierten kritischen Aktionen
- Protokollierung von Anfragen und Fehler-Monitoring
- Tests der Antworten sowie Freigabe durch einen Menschen
- Nutzungsanleitung und Verfahren zur Meldung von Problemen
| MVP | Umfang | Risikobegrenzung |
|---|---|---|
| AI-Assistent für die Wissensbasis | interne Verfahren und FAQ | nur freigegebene Dokumente und Zugriff nach Rolle |
| FAQ-Chatbot | öffentliche Fragen auf der Website | kein Zugriff auf Kundendaten und CRM |
| Zusammenfassung von Dokumenten | Kurzfassungen und Zusammenfassungen für Mitarbeitende | ohne automatisierte Entscheidungen und mit menschlicher Kontrolle |
| Klassifizierung von Anfragen | Tags, Priorität, Routing | manuelle Freigabe zu Beginn der Implementierung |
| Antwortentwürfe | Unterstützung für den Kundenservice | ein Mitarbeiter gibt den Inhalt vor dem Versand frei |
Phasen der Einführung sicherer KI
Eine professionelle KI-Einführung sollte in Phasen erfolgen. Entscheidend ist, nicht mit einem vollständigen KI-Zugriff auf das gesamte Unternehmen zu beginnen. Sicherer ist es, mit einem kleinen, kontrollierten Umfang zu starten und das System nach der Validierung zu erweitern.
- 1. Prozessaudit
Identifikation von Bereichen, in denen KI tatsächlich unterstützen kann.
- 2. Datenklassifizierung
Aufteilung der Daten in öffentliche, interne, personenbezogene, vertrauliche und technische Daten.
- 3. Risikobewertung
Identifikation von Risiken in Bezug auf Daten, Prompt Injection, Integrationen und menschliche Entscheidungen.
- 4. Rollen und Berechtigungen
Festlegung, wer Zugriff auf KI, Dokumente, Logs und Aktionen hat.
- 5. MVP
Auswahl des ersten Prozesses mit begrenztem Umfang und messbarem Effekt.
- 6. Architektur
Entwurf der Schichten: Frontend, Backend, AI, Daten, Integrationen, Monitoring.
- 7. Prompts und Regeln
Anweisungen, Einschränkungen, Ablehnungen, Eskalationen und Regeln für Antworten.
- 8. Wissensdatenbank
Vorbereitung von Dokumenten, Metadaten, Versionen und Berechtigungen.
- 9. Integrationen
Anbindung an Systeme nur in einem minimalen, kontrollierten Umfang.
- 10. Sicherheitstests
Prompt Injection, Berechtigungen, fehlerhafte Eingaben und verbotene Aktionen.
- 11. Qualitätstests
Korrektheit der Antworten, Quellen, Ablehnungen und Grenzfallszenarien.
- 12. Schulung
Regeln für die Nutzung von AI, was nicht eingefügt werden sollte und wie Probleme zu melden sind.
- 13. Eingeschränkte Einführung
Start für eine ausgewählte Nutzergruppe und einen kontrollierten Prozess.
- 14. Überwachung
Analyse von Logs, Antwortqualität, Kosten, Fehlern und Eskalationen.
- 15. Erweiterung
Hinzufügen weiterer Daten, Rollen, Integrationen und Aktionen nach der Validierung.
Häufige Fehler bei der Einführung von KI im Unternehmen
Der größte Fehler besteht darin, KI als Experiment ohne Regeln einzuführen und sie anschließend in realen Geschäftsprozessen zu nutzen. KI kann sehr wertvoll sein, muss im Unternehmen jedoch innerhalb klar definierter Grenzen funktionieren.
Fehler entstehen meist nicht durch das Modell selbst, sondern durch fehlende Prozesse: Es ist unklar, welche Daten verwendet werden dürfen, wer für die Qualität verantwortlich ist, welche Berechtigungen gelten und wann ein Mensch die Entscheidung übernehmen muss.
- fehlende Richtlinie zur Nutzung von KI und zur Datenklassifizierung
- Einfügen vertraulicher Daten in beliebige Tools
- fehlende Rollen, Berechtigungen und Zugriffskontrollen für Dokumente
- zu weitreichender Zugriff der KI auf CRM, E-Mail oder Wissensdatenbank
- fehlende Logs, Audits und Verfahren zur Klärung von Fehlern
- fehlende menschliche Kontrolle bei Finanzen, HR, Angeboten, Verträgen und Reklamationen
- fehlende Tests auf Prompt-Injection und Missbrauchsszenarien
- Behandlung von KI als Quelle der Wahrheit statt als unterstützendes Werkzeug
- automatische Ausführung von Aktionen ohne Freigabe
- fehlende Aktualisierung der Wissensdatenbank und der Implementierungsdokumentation
Wie unterstützt SmartCodeIT?
SmartCodeIT kann Unternehmen dabei unterstützen, AI sicher, praxisnah und passend zu realen Geschäftsprozessen einzuführen. Wir beginnen nicht beim Modell selbst. Wir beginnen beim Prozess, bei den Daten, Rollen, Risiken, Integrationen und dort, wo menschliche Kontrolle erforderlich ist.
Das Ziel von SmartCodeIT ist nicht, AI um jeden Preis einzuführen. Ziel ist es, einen Umfang zu wählen, in dem AI die Arbeit tatsächlich verbessert und gleichzeitig kein unkontrolliertes Risiko für Daten, Kunden und Unternehmensprozesse schafft.
- Audit von Prozessen im Hinblick auf AI und Analyse technischer Risiken
- systemseitige Datenklassifizierung und Entwurf eines AI-MVP
- KI-Agent für Unternehmen, Unternehmens-Chatbot und Wissensdatenbank-Assistent
- Dokumentenautomatisierung, OCR, Inhaltsanalyse und RAG
- API-Integrationen mit CRM, Dokumenten, E-Mail, Dashboards und Unternehmenssystemen
- Rollen, Berechtigungen, Audit-Logs, Monitoring und Human in the Loop
- Prompt-Injection-Tests, Tests der Antwortqualität und Wartungsplan
Zusammenfassung und nächster Schritt
Eine sichere AI-Einführung im Unternehmen erfordert die Verbindung von Technologie, Prozess und organisatorischen Regeln. Das AI-Modell sollte nur eingeschränkten Zugriff auf Daten, klare Berechtigungen, Logs, menschliche Kontrolle und Monitoring haben. Erst dann kann ein Chatbot, KI-Agent oder Dokumentenassistent zu einer realen geschäftlichen Unterstützung werden – und nicht zu einer Risikoquelle.
Wenn Sie AI im Unternehmen einführen möchten, Ihnen dabei aber die Sicherheit von Daten, Berechtigungen und Prozessen wichtig ist, kann SmartCodeIT Ihren Prozess analysieren, ein sicheres MVP entwerfen und ein AI-System implementieren, das auf die realen Anforderungen Ihres Unternehmens abgestimmt ist.
FAQ
Ist KI im Unternehmen sicher?
KI kann sicher sein, wenn sie mit geeigneten Regeln, Berechtigungen, Datenkontrolle und Monitoring implementiert wird. Risiken entstehen, wenn Mitarbeitende beliebige Tools ohne Unternehmensrichtlinie verwenden, vertrauliche Daten einfügen und KI-Systeme zu weitreichenden Zugriff auf Dokumente haben oder Aktionen ohne menschliche Kontrolle ausführen. Eine sichere Implementierung sollte mit der Klassifizierung von Daten, der Festlegung von Rollen und der Begrenzung des Handlungsumfangs der KI beginnen.
Kann KI für die Arbeit mit personenbezogenen Daten verwendet werden?
Ja, aber dies erfordert Vorsicht und eine angemessene Vorbereitung des Prozesses. Das Unternehmen sollte festlegen, welche personenbezogenen Daten verarbeitet werden, zu welchem Zweck, durch welches Tool, wer Zugriff darauf hat und wo sie gespeichert werden. In vielen Fällen sind Datenminimierung, Zugriffskontrolle, Logs, Sicherheitsverfahren und die Abstimmung mit der für Datenschutz zuständigen Person oder einem Rechtsberater erforderlich.
Was sollten Mitarbeitende nicht in öffentliche KI-Tools eingeben?
Mitarbeitende sollten keine Kundendaten, Mitarbeiterdaten, Verträge, Rechnungen, Preislisten, Margen, technische Dokumentation, Geschäftsgeheimnisse, Zugangsdaten, API-Token oder Informationen in öffentliche KI-Tools eingeben, die das Unternehmen nicht außerhalb einer kontrollierten Umgebung offenlegen möchte. Die genauen Regeln sollten in der unternehmensinternen Richtlinie zur Nutzung von KI beschrieben sein.
Was ist Prompt Injection?
Prompt Injection ist der Versuch, ein KI-Modell durch Inhalte zu manipulieren, die von einem Nutzer eingegeben wurden oder in einem Dokument, einer E-Mail, einer Website oder einer anderen Datenquelle verborgen sind. Solche Inhalte können versuchen, die KI dazu zu bringen, Anweisungen zu ignorieren, Daten offenzulegen oder eine unbefugte Aktion auszuführen. Das Risiko ist besonders relevant bei KI-Agenten, die Zugriff auf Unternehmenssysteme haben oder Handlungen ausführen können.
Wie lässt sich das Risiko von Prompt Injection begrenzen?
Das Risiko lässt sich durch die Trennung von Systemanweisungen und Benutzerdaten, die Beschränkung der AI-Berechtigungen, die Validierung von Aktionen, das Protokollieren von Aktivitäten, das Filtern von Ein- und Ausgaben, Sicherheitstests sowie die Anforderung einer menschlichen Freigabe bei kritischen Vorgängen reduzieren. Sehr wichtig ist außerdem, dass ein KI-Agent nur den minimalen Zugriff erhält, der für die Ausführung der Aufgabe erforderlich ist.
Sollte ein KI-Agent Zugriff auf CRM, ERP oder E-Mail haben?
Er kann einen solchen Zugriff haben, jedoch nur dann, wenn dies durch den Prozess begründet und angemessen abgesichert ist. Der Zugriff sollte auf konkrete Aktionen beschränkt sein, zum Beispiel das Lesen ausgewählter Daten, das Vorbereiten eines Antwortentwurfs oder das Erstellen einer Aufgabe. Kritische Vorgänge wie das Versenden von Nachrichten, das Ändern von Finanzdaten oder das Löschen von Datensätzen sollten eine zusätzliche Kontrolle oder eine menschliche Freigabe erfordern.
Kann AI Entscheidungen für einen Mitarbeiter treffen?
In vielen Prozessen sollte AI eine Entscheidung eher unterstützen, als sie eigenständig zu treffen. Sie kann eine Zusammenfassung, einen Vorschlag, eine Klassifizierung, einen Antwortentwurf oder eine Empfehlung vorbereiten, die endgültige Entscheidung sollte jedoch ein Mensch freigeben, insbesondere in den Bereichen Finanzen, Recht, HR, Reklamationen, Buchhaltung und Vertrieb. Dieser Ansatz wird als Human in the Loop bezeichnet.
Welche Logs sollten in einem AI-System gespeichert werden?
Es ist sinnvoll, den Benutzer, den Zeitpunkt der Anfrage, den Aktionstyp, die für die Antwort verwendeten Datenquellen, die generierte Antwort, die von der AI ausgeführten Aktionen, die menschliche Entscheidung, Fehler, Ablehnungen der Ausführung sowie die Version der Konfiguration oder des Prompts zu speichern. Logs unterstützen Audits, Diagnostik, die Verbesserung der Antwortqualität und die Aufklärung von Problemsituationen. Der Zugriff auf Logs sollte eingeschränkt sein und der Sicherheitsrichtlinie des Unternehmens entsprechen.
Kann ein Unternehmens-Chatbot vertrauliche Daten offenlegen?
Ja, wenn er falsch konzipiert wurde. Das Risiko entsteht, wenn der Chatbot Zugriff auf eine zu breite Wissensbasis hat, die Berechtigungen des Benutzers nicht prüft oder auf Grundlage von Dokumenten antwortet, die die betreffende Person nicht sehen sollte. Deshalb sollte ein Unternehmens-Chatbot über Zugriffskontrolle, einen begrenzten Wissensumfang, Logs und Antworttests vor dem Produktivbetrieb verfügen.
Wie beginnt man eine sichere AI-Implementierung im Unternehmen?
Am besten beginnt man mit einem kleinen und kontrollierten MVP. Es gilt, einen Prozess auszuwählen und Daten, Rollen, Berechtigungen, Risiken, Protokollierungsregeln sowie Zeitpunkte der menschlichen Kontrolle festzulegen. Ein guter erster Schritt kann ein AI-Assistent für die interne Wissensbasis, ein FAQ-Chatbot ohne Zugriff auf Kundendaten oder AI zur Erstellung von Antwortentwürfen sein, die ein Mitarbeiter freigibt.
Benötigt ein Unternehmen eine Richtlinie zur Nutzung von AI?
Ja, wenn Mitarbeitende AI bei der Arbeit nutzen. Die Richtlinie sollte erläutern, welche Tools zugelassen sind, welche Daten nicht eingefügt werden dürfen, für welche Aufgaben AI verwendet werden kann, wann eine menschliche Kontrolle erforderlich ist und wie Fehler oder Vorfälle gemeldet werden. Ohne solche Regeln kann jeder Mitarbeitende AI anders nutzen, was das Risiko für Daten und Prozesse des Unternehmens erhöht.
Kann SmartCodeIT dabei helfen, AI sicher einzuführen?
Ja. SmartCodeIT kann den Prozess analysieren, ein sicheres MVP konzipieren, einen KI-Agenten, Chatbot, Dokumentenassistenten oder ein RAG-System implementieren sowie Rollen, Berechtigungen, Logs, API-Integrationen, Monitoring und menschliche Kontrolle vorbereiten. Ziel ist die Einführung von AI, die dem Unternehmen tatsächlich hilft, aber innerhalb definierter, sicherer Grenzen arbeitet.
Quellen
- OWASP: LLM01 Sofortige Injektion
- OWASP: Top 10 für große Sprachmodellanwendungen
- NIST: AI Risk Management Framework
- NIST AI Resource Center: AI RMF
- Europäische Kommission: KI-Gesetz
- UODO: Pflichten des Verantwortlichen gegenüber Personen, deren Daten verarbeitet werden
- UODO: Informationspflicht
- OWASP API Sicherheit Top 10
Möchten Sie AI im Unternehmen einführen, legen aber Wert auf die Sicherheit von Daten, Berechtigungen und Prozessen? SmartCodeIT kann den Prozess analysieren, ein sicheres MVP konzipieren und ein AI-System implementieren, das auf die tatsächlichen Anforderungen des Unternehmens abgestimmt ist.
Sprechen wir über sichere AI