Unternehmen, Behörden und Kommunen beschäftigen sich zunehmend damit, wie sie generative KI nutzbringend einsetzen können, um ihre Mitarbeitenden zu entlasten und effizienter zu arbeiten. Pilotprojekte werden ins Leben gerufen, schnell mal ein OpenAI oder ähnliche cloud-basierte Anbieter angebunden und getestet. Einige setzen sogar eigene Large Language Models (LLM) auf, mit dem Ziel organisationseigene Dokumente zusammenzufassen, interne Informationen zu recherchieren und daraus neue Texte zu entwerfen.
Die IT-Abteilungen der Organisationen sind hierbei meist sehr ambitioniert und kompetent. Oft funktionieren die Tests zu 80 Prozent gut, aber bei den letzten 20 Prozent, die für eine vollständige Lösung nötig sind, treten Schwierigkeiten auf. Dabei besteht eine große Herausforderung in der Berücksichtigung der Lese- und Zugriffsrechte – schließlich sollen keine Antworten mit sensiblen Informationen an unberechtigte Personen herausgegeben werden.
Oft werden dabei auch Daten dupliziert und niemand weiß mehr, welches das Original ist. In einigen Fällen dürfen diese Daten auch gar nicht hochgeladen werden. Andere wiederum stellen fest, dass Features wie Autovervollständigung, Folge-Fragen, Highlighting in Dokumenten, Kuration und Bewertung der Antworten, etc., welche sie aus anderen Applikationen gewohnt sind, oft fehlen, und erst projektspezifisch implementiert werden müssten. Man bräuchte jetzt eigentlich Software- oder Maschine Learning-Entwickler, welche die Applikation aus der Testphase in die Produktion heben. Das kann schnell zu 6-stelligen Projektkosten für eigene Teams oder externe Dienstleister führen.
Spätestens an diesem Punkt kommen Organisationen auf uns zu und wir unterstützen hier gern mit unserem Standardprodukt, das komplexe Features wie die oben genannten bereits enthält. Als Spezialist für Enterprise Search ist die sichere Recherche in organisationseigenen Daten unsere Kernkompetenz. Seit über 20 Jahren ermöglichen wir es Unternehmen, in ihren eigenen Daten relevante Informationen zu finden und dabei bestehende Zugriffsrechte der Nutzenden automatisch zu berücksichtigen. Das bedeutet, dass jeder Suchende nur die Informationen findet, die sie oder er auch berechtigt ist zu sehen – und das beginnt schon bei den Autocomplete-Vorschlägen der klassischen Suche. Das ist die wesentliche Voraussetzung dafür, dass die Berücksichtigung der Benutzerrechte auch für die Ergebnisse generativer KI funktioniert.
Wie erreichen wir das? Wir arbeiten mit dem RAG-Ansatz (Retrieval-Augmented Generation). Hierbei wird ein GenAI-Sprachmodell mit unserer intelligenten Suchmaschine kombiniert. Bei Anfragen durchsuchen die KI-basierten Retrieval-Technologien der Enterprise Search die organisationseigenen Daten nach relevanten Informationen und stellen sie dem Sprachmodell zur Generierung der Antwort zur Verfügung. Dadurch basiert der Output des Sprachmodells immer auf aktuellen Informationen und das Risiko von Halluzinationen sinkt signifikant. Zudem berücksichtigt die Enterprise Search automatisch die Zugriffsrechte auf die Unternehmensdaten. Mitarbeiter oder Kunden erhalten in ihren Antworten nur Informationen, die sie auch berechtigt sind, zu sehen. Damit wird automatisch eine zentrale Datenschutz-Anforderung erfüllt, die in der aktuellen GenAI-Test-Euphorie übersehen oder zunächst bewusst ausgeklammert wird, weil sie sehr anspruchsvoll ist. Die Software iFinder ermöglicht es, alle relevanten Inhalte, such- und findbar, vektorisiert – also angereichert mit den Embeddings aus dem LLM UND mit den Zugriffsrechten - zur Verfügung zu stellen.
Wenn wir den Organisationen dann noch mitteilen, dass wir nicht nur ihr Problem mit den Lese- und Zugriffsrechten lösen, sondern ihr vorhandenes LLM verwenden können, um es mit unserer Suche zu kombinieren, sind sie hoch erfreut. So war ihre bisherige Arbeit mit dem LLM nicht umsonst und ihre Anforderungen für einen nutzbringenden Einsatz generativer KI als effiziente Mitarbeiterunterstützung werden erfüllt.
Ob die Firmen ihr eigenes LLM mitbringen oder wir in Absprache mit unseren Kunden ein passendes LLM für ihre Use Cases auswählen: Wir unterstützen Organisationen dabei, ihre eigenen Daten mit generativer KI zu nutzen, um durch eine optimierte Informationsbereitstellung die Produktivität zu steigern.
Fazit
Pilotprojekte in Unternehmen und im öffentlichen Sektor zeigen, dass LLMs und generative KI die Mitarbeitenden entlasten werden. LLM-Projekte erfolgreich umzusetzen, ist für die Organisationen eine anspruchsvolle Aufgabe. Daher ist es sinnvoll sich von Beginn an KI-Spezialisten an Bord zu holen, bei denen diese Themen zum täglichen Brot gehören.
