KI-Chat mit eigener Suchmaschine: RAG in YaCy (froscon2026)

Möchte man eine spezielle Datenmenge mit einem KI-Chat verbinden, so muss man diese Daten in einer speziellen Art und Weise mit dem Chat-System verbinden, die man RAG (Retrieval Augmented Generation) nennt. Man benötigt dazu eine Suchmaschine für diese speziellen Daten und ein Chat-System, das die Suche in dieser Suchmaschine durchführt. Hier bietet es sich an, in YaCy einen KI-Chat einzubauen, damit der YaCy-Suchindex für den Chat genutzt werden kann. Genau das haben wir gemacht und zeigen: - wie man in YaCy einen geeigneten Suchindex aufbaut, - wie man ein lokales LLM Inference System installiert (mit Ollama), - wie man YaCy so konfiguriert, dass es das LLM verwendet, - wie das Chat System in YaCy aussieht. Das ist genau die Lösung für das, was ansonsten bei Cloud-Diensten als »GPT« oder »Agent« angeboten wird. Hier ist es aber ein KI/RAG-System, das auf dem eigenen Rechner läuft und damit auch im Intranet oder für private Daten geeignet ist. YaCy steht seit langem für Unabhängigkeit und Selbstbestimmung. Suchmaschinen sind für KI-Anwendungen notwendig wenn große Wissensdaten, die ansonsten nicht im KI-Modell angelernt wurden im KI Chat benötigt werden. In diesem Kontext ist der Betrieb eines eigenen KI Modell und einer eigenen Suchmaschine die Loslösung von Cloud-Anbietern und steht damit ganz gut im Track "It's the end of the world as we know it" und Krisenvorsorge. Der Vortrag hat workshop-Eigenschaften und wird wie ein Tutorial vorgeführt, allerdings ist es aufgrund der verwendeten Datenmengen nicht in der gleichen Zeit möglich, dass Zuhörende das ganze mitmachen können - einfach aufgrund des zu erwartenden Datendurchsatzes. Licensed to the public under http://creativecommons.org/licenses/by/4.0 about this event: https://programm.froscon.org/2026/events/3643.html