Folge 5: Tech Deep Dive - RAG erklärt

Ein eigenes Sprachmodell trainieren? In den meisten Fällen der falsche Weg. In dieser Ausgabe von Applied Intelligence wird es spürbar technischer als sonst. Dennis Augustin ist über den Begriff RAG (Retrieval-Augmented Generation) gestolpert – und genau dafür ist dieser Podcast ja als Gespräch unter Freunden gestartet: Um einander komplexe Themen verständlich zu machen und gemeinsam die Oberfläche der Marketing-Phrasen zu verlassen. Johannes Westermann nimmt den Ball auf und schlüsselt die exakte Funktionsweise und das Konzept hinter RAG detailliert auf. Es geht um die mathematische Logik von Vektoren im multidimensionalen Raum (Embedding-Modelle), um Text-Chunking und um das Reranking für den optimalen LLM-Kontext. Trotz des tieferen Griffs in die Technologie-Kiste bleibt es gewohnt praxisnah: Die beiden beleuchten die oft unterschätzte IT-Infrastruktur hinter solchen Systemen. Wie geht eine KI mit Dokumenten-Updates, Versionierungen (z. B. im GXP- oder SharePoint-Umfeld) und konkurrierenden Daten um? Und wie bindet man Berechtigungskonzepte über Identity Provider (Single Sign-On) so an, dass sensible Daten geschützt bleiben? Ein fundierter, ehrlicher Austausch für Entscheider und IT-Verantwortliche, die die technologische Substanz hinter produktiven KI-Systemen verstehen wollen – ohne das Gefühl zu haben, in einer trockenen Vorlesung zu sitzen.