efdb9832d6
- Repo umbenannt weberanalyse -> sokrates-qs (QS/Bericht-Eval-Lab) - Weber-Bericht + Toolcalls nach weber/ verschoben (pro-Bericht-Struktur) - weber/abweichungs-analyse.md: Faktentreue-Befunde (CDU-Fehler, Datum, Zitat-Integrität; Typ+Konfidenz) + Kernbefund Retrieval-Monotonie (6x identische Query) + A/B alt vs. production0726 (1 vs. 5 eindeutige Queries) - weber/korrekturen/: Ablage für Modell-Korrekturen (kimi/claude/grok) - README als Lab-README (Struktur + Methode) Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
38 lines
1.6 KiB
Markdown
38 lines
1.6 KiB
Markdown
# sokrates-qs — Qualitätssicherung & Bericht-Evals
|
|
|
|
Vergleichs- und Eval-Lab für Sokrates-Berichte. Pro analysiertem Bericht ein
|
|
Unterordner mit dem Original, dem Tool-Call-Log, unabhängigen Modell-Korrekturen
|
|
und einer Abweichungs-Analyse. Ziel: aus konkreten Berichten belastbare
|
|
Faktentreue-/Grounding-Befunde und Regressionsfälle gewinnen — statt Einzelfall-
|
|
Gefühl.
|
|
|
|
## Struktur (pro Bericht ein Ordner)
|
|
|
|
```
|
|
<thema>/
|
|
bericht.md # der Original-Bericht der Engine
|
|
toolcalls.md # dokumentierte Tool-Aufrufe (Recherche-Spur)
|
|
abweichungs-analyse.md # Faktentreue/Grounding-Befunde (Typ + Konfidenz) + A/B
|
|
korrekturen/ # Korrektur-Fassungen durch mehrere Modelle
|
|
<modell>.md
|
|
```
|
|
|
|
## Enthaltene Analysen
|
|
|
|
- [`weber/`](weber/) — Stefan Weber (Plagiatsgutachten, Fälle Baerbock/Habeck/
|
|
Brosius-Gersdorf). Erster Eintrag; A/B zur Query-Diversität vor/nach dem
|
|
Tool-Call-Fix in [`weber/abweichungs-analyse.md`](weber/abweichungs-analyse.md).
|
|
|
|
## Methode
|
|
|
|
1. **Original + Toolcalls** ablegen.
|
|
2. **Abweichungen** gegen die abgerufenen und offenen Quellen kategorisieren
|
|
(falsches Attribut / Datum / Attribution / Zitat-Integrität / ungegroundeter
|
|
Fakt), mit Konfidenz.
|
|
3. **Modell-Korrekturen** (mehrere unabhängige Modelle) daneben — Konsens =
|
|
hohe Konfidenz, Dissens = strittig. Korrektoren sind selbst LLMs → bei realen
|
|
Personen gegen Primärquellen absichern.
|
|
4. Bestätigte Fehler werden **Regressionsfälle** für künftige Läufe.
|
|
|
|
*Alle Quellen sind öffentlich zugängliche Medienberichte; die Berichte geben den
|
|
Stand der öffentlichen Debatte wieder und stellen keine Rechtsberatung dar.*
|