sokrates-lab/sokrates-qs
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
Von Sokrates erzeugtes Projekt (Coding-Delegation).
3 commits 3 branches 0 tags 89 KiB
Find a file
Claude Fable 5 (Sokrates-Team) efdb9832d6 Restrukturierung als sokrates-qs Eval-Lab + Weber-Abweichungs-Analyse 
- Repo umbenannt weberanalyse -> sokrates-qs (QS/Bericht-Eval-Lab)
- Weber-Bericht + Toolcalls nach weber/ verschoben (pro-Bericht-Struktur)
- weber/abweichungs-analyse.md: Faktentreue-Befunde (CDU-Fehler, Datum,
  Zitat-Integrität; Typ+Konfidenz) + Kernbefund Retrieval-Monotonie
  (6x identische Query) + A/B alt vs. production0726 (1 vs. 5 eindeutige Queries)
- weber/korrekturen/: Ablage für Modell-Korrekturen (kimi/claude/grok)
- README als Lab-README (Struktur + Methode)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-24 13:37:39 +02:00
weber Restrukturierung als sokrates-qs Eval-Lab + Weber-Abweichungs-Analyse 2026-07-24 13:37:39 +02:00
README.md Restrukturierung als sokrates-qs Eval-Lab + Weber-Abweichungs-Analyse 2026-07-24 13:37:39 +02:00

README.md

sokrates-qs — Qualitätssicherung & Bericht-Evals

Vergleichs- und Eval-Lab für Sokrates-Berichte. Pro analysiertem Bericht ein Unterordner mit dem Original, dem Tool-Call-Log, unabhängigen Modell-Korrekturen und einer Abweichungs-Analyse. Ziel: aus konkreten Berichten belastbare Faktentreue-/Grounding-Befunde und Regressionsfälle gewinnen — statt Einzelfall- Gefühl.

Struktur (pro Bericht ein Ordner)

<thema>/
  bericht.md             # der Original-Bericht der Engine
  toolcalls.md           # dokumentierte Tool-Aufrufe (Recherche-Spur)
  abweichungs-analyse.md # Faktentreue/Grounding-Befunde (Typ + Konfidenz) + A/B
  korrekturen/           # Korrektur-Fassungen durch mehrere Modelle
    <modell>.md

Enthaltene Analysen

  • weber/ — Stefan Weber (Plagiatsgutachten, Fälle Baerbock/Habeck/ Brosius-Gersdorf). Erster Eintrag; A/B zur Query-Diversität vor/nach dem Tool-Call-Fix in weber/abweichungs-analyse.md.

Methode

  1. Original + Toolcalls ablegen.
  2. Abweichungen gegen die abgerufenen und offenen Quellen kategorisieren (falsches Attribut / Datum / Attribution / Zitat-Integrität / ungegroundeter Fakt), mit Konfidenz.
  3. Modell-Korrekturen (mehrere unabhängige Modelle) daneben — Konsens = hohe Konfidenz, Dissens = strittig. Korrektoren sind selbst LLMs → bei realen Personen gegen Primärquellen absichern.
  4. Bestätigte Fehler werden Regressionsfälle für künftige Läufe.

Alle Quellen sind öffentlich zugängliche Medienberichte; die Berichte geben den Stand der öffentlichen Debatte wieder und stellen keine Rechtsberatung dar.