Kurz zusammengefasst
- Fachbereiche verantworten Inhalt und Gültigkeit; Technik verantwortet Verarbeitung und Verfügbarkeit.
- Jede Quelle braucht einen definierten Aktualisierungs-, Fehler- und Löschprozess.
- Retrieval und Antwortqualität werden mit stabilen Testfragen sowie realen Rückmeldungen überwacht.
- Änderungen an Modellen, Embeddings, Aufteilung oder Quellen müssen versioniert und vor Freigabe geprüft werden.
Welche Rollen braucht der Betrieb?
Technik allein kann nicht entscheiden, welche Aussage verbindlich ist. Fachliche Eigentümer genehmigen Quellen und lösen Widersprüche; Plattform- und Betriebsteams sichern Datenfluss, Rechte und Verfügbarkeit. Eine benannte Produktverantwortung verbindet Nutzen, Qualität und Änderungen.
| Betriebsaufgabe | Federführende Verantwortung | Rhythmus oder Auslöser | Nachweis |
|---|---|---|---|
| Quelle und Gültigkeit freigeben | Fachlicher Eigentümer | Vor Aufnahme sowie bei inhaltlicher Änderung oder Ablaufdatum | Freigabestatus, Version, Geltungsbereich und verantwortliche Person |
| Connector, Index und Löschungen betreiben | Plattform- oder Betriebsteam | Laufend; Kontrolle nach jedem Synchronisationslauf | Mengenabgleich, Verzögerung, Fehler und Löschbestätigung |
| Berechtigungen testen | Technik gemeinsam mit Sicherheit | Bei Rollenänderung, Release und regelmässig als Regressionstest | Positive und explizit verweigerte Testfälle je Rolle |
| Retrieval- und Antwortqualität bewerten | Produktverantwortung mit Fachbereich | Vor Release und in festem monatlichem oder quartalsweisem Zyklus | Versioniertes Testset, Resultate und akzeptierte Fehlergrenzen |
| Falsche oder fehlende Antworten bearbeiten | Supportweg mit fachlichem Eigentümer | Ereignisbezogen nach Meldung oder wiederkehrendem Fehlermuster | Klassifizierter Fall, Korrektur in der Quelle und neuer Regressionstest |
| Sicherheits- oder Datenschutzvorfall behandeln | Incident Lead mit Sicherheit und Datenschutz | Sofort nach Erkennung | Auswirkung, Eindämmung, Ursache, Meldung und erneute Prüfung |
Wie sieht der laufende Datenzyklus aus?
Jede Quelle durchläuft Erkennung, Verarbeitung, Indexierung und Qualitätsprüfung. Der Betrieb überwacht nicht nur technische Erreichbarkeit, sondern auch Verzögerung, abgelaufene Inhalte und die vollständige Löschung entfernter Dokumente.
- Schritt 1
Inventarisieren
Quelle, Eigentümer, Zweck, Zielgruppe und Schutzbedarf dokumentieren.
- Schritt 2
Synchronisieren
Text, Metadaten, Rechte und Löschungen kontrolliert übernehmen.
- Schritt 3
Validieren
Stichproben, Mengenabgleich und bekannte Testfragen ausführen.
- Schritt 4
Überwachen
Fehler, Verzögerung, Nulltreffer und Qualitätsindikatoren beobachten.
- Schritt 5
Verbessern
Nutzerfeedback und neue Fehlermuster in Quellen und Tests zurückführen.
Welche Qualität wird gemessen?
Eine gute Modellantwort kann auf einem falschen Treffer beruhen; eine schlechte Antwort trotz richtiger Quelle entstehen. Deshalb werden Retrieval und Generierung separat und gemeinsam gemessen. Durchschnittswerte dürfen kritische Fehlertypen nicht verdecken.
- Trefferquote: Ist die benötigte Passage unter den gelieferten Treffern?
- Präzision: Wie viele gelieferte Passagen sind tatsächlich relevant?
- Berechtigung: Erscheint nie ein unzulässiger Inhalt?
- Belegtreue: Stützt die Quelle die formulierte Aussage?
- Betrieb: Aktualität, Laufzeit, Kosten und Fehlerrate
Wie werden Änderungen und Vorfälle behandelt?
Neue Modelle, Embedding-Versionen oder Aufteilungsregeln können Treffer verändern, obwohl die Quelldokumente gleich bleiben. Solche Änderungen brauchen einen Vergleich auf einem festen Testset und eine Rückfallmöglichkeit. Bei unerlaubten oder gefährlich falschen Antworten zählt ein vorbereiteter Vorfallprozess.
- Konfiguration und Datenstand versionieren
- Änderungen zuerst in einer getrennten Umgebung testen
- Kritische Regressionen als Freigabesperre definieren
- Betroffene Quellen oder Funktionen bei einem Vorfall rasch deaktivieren können
- Ursache, Wirkung, Korrektur und erneuten Test dokumentieren
Beispiel: monatlicher Betrieb einer Service-Wissensbasis
Das Serviceteam verantwortet Handbücher und Freigaben. Ein täglicher Lauf übernimmt Änderungen und meldet Fehler. Wöchentlich werden häufige Nulltreffer und negative Rückmeldungen geprüft; monatlich läuft ein festes Testset über Produkte, Sprachen und Rollen. Vor einem Modell- oder Embedding-Wechsel vergleicht das Team Alt und Neu und gibt die Änderung nur ohne kritische Regression frei.
Was Sie mitnehmen sollten
Planen Sie fachliche Pflege, technische Synchronisation und messbare Qualität vor dem ersten produktiven Einsatz. Eine Wissensbasis bleibt nur so gut wie ihr gelebter Betriebsprozess.
Quellen und Vertiefung
Diese Primärquellen vertiefen Definitionen, technische Grundlagen oder verantwortlichen Einsatz.
Inhaltlich geprüft