Lernt KI unsere Papiere?
In der professionellen Umsetzung ist es notwendig, die Verwendung von Dokumenten als Kontext klar von der Modellausbildung zu unterscheiden. In RAG werden Architekturdokumente indexiert, in Fragmente gegliedert und zur Suche nach Antworten verwendet, aber das bedeutet nicht unbedingt, ein öffentliches Modell auf Unternehmensdaten zu trainieren. Das Modell erhält ausgewählte Fragmente als Kontext der Anfrage und bereitet auf dieser Grundlage eine Antwort vor. Die Entscheidung, wo die Daten verarbeitet werden, wie sie gespeichert werden und ob sie für die Ausbildung verwendet werden können, hängt von den gewählten Lieferanten-, Konfigurations- und Sicherheitsanforderungen des Unternehmens ab.
Verlassen die Daten das Unternehmen?
Das hängt von der Architektur ab. Sie können eine Cloud-, Hybrid- oder private Lösung entwerfen. In der Cloud-Variante können einige der Abfragen von externen APIs bearbeitet werden, aber Sie müssen den Datenbereich noch einschränken, sensible Informationen maskieren und die Aufbewahrung steuern. In der privaten Option oder vor Ort kann die meisten der Verarbeitung in der Client-Umgebung arbeiten. Vor der Implementierung müssen Sie rechtliche, technische und organisatorische Anforderungen festlegen und überprüfen, welche Dokumente indiziert werden können.
Funktioniert die MAG Wissensbasis vor Ort?
Ja, aber eine solche Variante erfordert mehr Infrastrukturarbeit. On-Premise kann lokale Datenbank, lokalen Vektor-Index, private API, eigenen Anwendungsserver, Überwachung, Backup und AI-Modell lokal oder in der privaten Cloud laufen. Dieses Modell macht Sinn mit hohen Sicherheitsanforderungen, sensiblen Daten oder Branchenbeschränkungen. Allerdings müssen Sie die Kosten für die Aufrechterhaltung, Aktualisierung, Skalierung, Tests, GPU-Ressourcen oder Integration mit einem privaten AI-Anbieter berücksichtigen.
Wie sieht die Indexierung von Dokumenten aus?
Indexierung beginnt mit dem Herunterladen des Dokuments aus einer Quelle, z.B. SharePoint, OneDrive, Google Drive, Ordner oder API. Dann zieht das System Text heraus, führt OCR aus, wenn das Dokument ein Scan ist, teilt den Inhalt in Fragmente auf, fügt Metadaten hinzu und erstellt embeddingi. Fragmente gehen in die Vektordatenbank zusammen mit Informationen über Quelle, Version, Eigentümer und Berechtigungen. Nach dem Ändern des Dokuments sollte der Index aktualisiert werden, um auf den neuesten Inhalt aufzubauen.
Kennt KI nur unsere Dokumente?
In einem gut konzipierten Antwortsystem sollte auf zugelassene Unternehmensquellen beschränkt sein oder eindeutig bedeutet, dass es kein Dokument gibt, das die Antwort bestätigt. Das Sprachmodell kann allgemeine Kenntnisse haben, aber die Systemregeln sollten Antworten auf Basis von Dokumenten, Verfahren und Unternehmensanweisungen erzwingen. Wenn es keine Quelle gibt, sollte die KI sagen, dass keine Informationen gefunden wurden, und den Kontakt mit dem Prozesseigentümer vorschlagen oder eine Lücke in der Wissensbasis melden.
Wie sieht die Aktualisierung der Wissensbasis aus?
Das System sollte Änderungen in Dokumenten erkennen, alte Versionen aus dem Index löschen oder als veraltet markieren, neue Einbettungen erstellen und Metadaten aktualisieren. Es ist wichtig, den Eigentümer des Dokuments und das Überprüfungsdatum anzugeben. So sieht der Administrator, welche Quellen aktiv sind, welche Updates erfordern und welche Antworten von der vorherigen Version des Dokuments verwendet werden könnten.
Unterstützt das System PDF?
Ja. PDFs sind eine der typischen Quellen des Wissens in Unternehmen, aber man muss PDF mit einer Textebene von einem Scan unterscheiden. Wenn die Datei Text hat, kann das System herunterladen und in Fragmente teilen. Wenn es ein Scan ist, benötigen Sie OCR. OCR Qualität hängt von der Qualität des Scans, Layout des Dokuments, Tabellen, Briefmarken, Signaturen und Sprache. Daher lohnt es sich, eine repräsentative Probe von Dokumenten vor der Implementierung zu testen, um zu überprüfen, welche PDFs für die automatische Indexierung geeignet sind.
Funktioniert der Lappen mit SharePoint?
Ja. SharePoint ist eine der häufigsten Quellen von Dokumenten für Unternehmen, die Microsoft 365 verwenden. Integration erfordert in der Regel Microsoft Graph API, Entra-ID-Anwendungen, entsprechende Berechtigungen und Regelungen, welche Dokumentenbibliotheken indiziert werden sollen. Schlüssel ist die Beibehaltung von Berechtigungen: Der Benutzer sollte nur eine Antwort von Dokumenten erhalten, auf die er Zugriff hat. Daher sollte die Implementierung die Synchronisierung von Quellen, Metadaten, Versionen und Zugriffskontrolle umfassen.
Kann die Wissensbasis in Teams funktionieren?
Ja. Teams können eine Schnittstelle für Fragen sein, aber es lohnt sich oft, es mit der Web-Anwendung und Administrator-Panel verbinden. Der Mitarbeiter kann Bot in Teams fragen, und das System reagiert auf der Grundlage des Dokument-Index und zeigt die Quellen. Allerdings braucht der Administrator einen Ort, um Quellen, Feedback, Dokumente zu überprüfen und Protokolle zu verwalten. Teams ist daher ein großer Kanal der Verwendung, aber nicht die gesamte Betriebsebene des RAG ersetzen.
Kann der Zugang zu Dokumenten eingeschränkt werden?
Ja, und dies ist eines der wichtigsten Elemente der Implementierung. Das System sollte Rollen, Gruppen, Abteilungen, Dokumentenberechtigungen und Vertraulichkeitsebenen berücksichtigen. Die KI-Antwort kann keine Fragmente eines Dokuments aufdecken, das Sie nicht sehen sollten. In der Praxis bedeutet dies, die Suchergebnisse zu filtern, bevor Sie sie an das Modell übergeben und Protokollieren, welche Quellen verwendet wurden.
Entspricht die KI den Quellen?
Ja, dies ist einer der größten Vorteile des MAG. Die Antwort sollte einen Link zu dem Dokument, den Namen der Quelle, die Version oder ein Fragment, aus dem das System verwendet wurde. Dies ermöglicht es dem Benutzer zu überprüfen, woher die Informationen kommen und der Administrator kann die Antworten prüfen. Keine Quellen sollten als Warnsignal behandelt werden. Dann sollte das System zugeben, dass er keine Bestätigung gefunden hat, anstatt eine Antwort ohne die Grundlage in den Unternehmensdokumenten zu generieren.
Wie sieht die Versionierung des Dokuments aus?
Die Versionierung sollte Informationen über die aktuelle Version des Dokuments, das Indexdatum, den Besitzer, den Status der Überprüfung und die Änderungen in der Quelle enthalten. Wird das Dokument durch eine neue Version ersetzt, sollte der Index aktualisiert und die älteren Teile als Archivierung gelöscht oder markiert werden. Dies ist insbesondere für ISO-Verfahren, Sicherheitsrichtlinien, technische Anweisungen und HR-Dokumente wichtig, bei denen eine veraltete Reaktion zu einer Fehlfunktion führen kann.
Wie misst man ROI von der KI Wissensbasis?
Es ist am besten, die Zeit der Suche nach Informationen, die Anzahl der wiederkehrenden Fragen an Experten, die Onboard-Zeit, die Anzahl der Suchen, Relevanz der Antworten, die Anzahl der Dokumente zu aktualisieren und den Austausch von Antworten mit Quellen. Es lohnt sich, durch die Messung des aktuellen Prozesses beginnen: wie viel Zeit Mitarbeiter nach Informationen suchen, wie oft sie fragen andere und welche Abteilungen am meisten geladen sind. Nur dann können Sie das Ergebnis nach MVP vergleichen. ROI sollte nicht im Voraus angenommen werden, nur auf Daten gemessen.
Wie lange dauert es, eine interne MAG-Wissensbasis zu implementieren?
Die Zeit hängt von der Anzahl der Quellen, der Qualität der Dokumente, den Berechtigungsanforderungen, OCR, der Anzahl der Abteilungen und MVP-Bereich ab. Einfaches Pilotieren für eine Abteilung und ausgewählte Dokumente ist viel kürzer als die Implementierung für viele Quellen, Teams, SSO, Dokumentensicherheit, Admin-Panel und Dashboard. Der sicherste Weg zum Start ist die Prüfung von Dokumenten, Testfragen und MVPs für einen Prozess, und erst nach den Tests entwickeln weitere Quellen und Abteilungen.
Kann eine Wissensbasis Word, Excel und PowerPoint unterstützen?
Ja, aber jedes Format erfordert eine andere Art, Inhalte zu extrahieren. Word ist in der Regel einfach zu verarbeiten, Excel erfordert die Identifizierung von Blättern, Tabellen und Kontextdaten, und PowerPoint enthält oft Verknüpfungsinformationen, Grafiken und Dias. Das System sollte Datei-Metadaten und Quellinformationen speichern, so dass die Antwort überprüft werden kann. Im Falle von komplexen Dateien lohnt es sich, Regeln vorzubereiten, welche Fragmente indiziert werden sollen.