sokrates-qs — Qualitätssicherung & Bericht-Evals

Vergleichs- und Eval-Lab für Sokrates-Berichte. Pro analysiertem Bericht ein Unterordner mit dem Original, dem Tool-Call-Log, unabhängigen Modell-Korrekturen und einer Abweichungs-Analyse. Ziel: aus konkreten Berichten belastbare Faktentreue-/Grounding-Befunde und Regressionsfälle gewinnen — statt Einzelfall- Gefühl.

Hier beginnen

Dieses Repository ist eine Sammlung von Markdown-Berichten und manuellen Auswertungen. Zum Lesen die Links unten in Forgejo öffnen; eine Installation, Modelllaufzeit oder API-Zugangsdaten sind dafür nicht erforderlich.

Für ein Beispiel zuerst weber/bericht.md, dann weber/toolcalls.md, die Abweichungsanalyse und abschließend die Konsensauswertung lesen. Erfolg: Jede diskutierte Abweichung lässt sich zwischen Ausgangsbericht, Recherche-Spur und Korrektur vergleichen. Die Dateien dokumentieren ihren jeweiligen historischen Untersuchungsstand.

Struktur (pro Bericht ein Ordner)

<thema>/
  bericht.md             # der Original-Bericht der Engine
  toolcalls.md           # dokumentierte Tool-Aufrufe (Recherche-Spur)
  abweichungs-analyse.md # Faktentreue/Grounding-Befunde (Typ + Konfidenz) + A/B
  konsens-auswertung.md  # Modell-Korrekturen gegenübergestellt: Konsens vs. Dissens
  korrekturen/           # Korrektur-Fassungen durch mehrere Modelle
    <modell>.md

Enthaltene Analysen

• weber/ — Stefan Weber (Plagiatsgutachten, Fälle Baerbock/Habeck/ Brosius-Gersdorf). Erster Eintrag; A/B zur Query-Diversität vor/nach dem Tool-Call-Fix in weber/abweichungs-analyse.md.

• identitaer/ — Ereignis-Monitoring zur Sommerdemo 2026 mit Originalbericht und Quellen-/Tool-Dokumentation; die dortige README erklärt Stand und Einschränkungen. Dieser Ordner folgt noch nicht vollständig dem oben gezeigten Auswertungsschema.

Methode

1. Original + Toolcalls ablegen.
2. Abweichungen gegen die abgerufenen und offenen Quellen kategorisieren (falsches Attribut / Datum / Attribution / Zitat-Integrität / ungegroundeter Fakt), mit Konfidenz.
3. Modell-Korrekturen (mehrere unabhängige Modelle) daneben — Konsens = hohe Konfidenz, Dissens = strittig. Korrektoren sind selbst LLMs → bei realen Personen gegen Primärquellen absichern.
4. Bestätigte Fehler als mögliche Regressionsfälle für künftige Läufe festhalten: Ausgangsaussage, Primärbeleg, Korrektur, Datum und erwartetes Verhalten dokumentieren. In diesem Repository liegt derzeit kein automatischer Testläufer; die vorhandenen Auswertungen sind manuell dokumentiert. Ein zukünftiger automatisierter Lauf braucht zusätzlich einen definierten Prüfablauf und dokumentierte Ergebnisse.

Alle Quellen sind öffentlich zugängliche Medienberichte; die Berichte geben den Stand der öffentlichen Debatte wieder und stellen keine Rechtsberatung dar.