From efdb9832d666a748b29b14e7208d47934510d7e6 Mon Sep 17 00:00:00 2001 From: "Claude Fable 5 (Sokrates-Team)" Date: Fri, 24 Jul 2026 13:37:39 +0200 Subject: [PATCH] Restrukturierung als sokrates-qs Eval-Lab + Weber-Abweichungs-Analyse MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Repo umbenannt weberanalyse -> sokrates-qs (QS/Bericht-Eval-Lab) - Weber-Bericht + Toolcalls nach weber/ verschoben (pro-Bericht-Struktur) - weber/abweichungs-analyse.md: Faktentreue-Befunde (CDU-Fehler, Datum, Zitat-Integrität; Typ+Konfidenz) + Kernbefund Retrieval-Monotonie (6x identische Query) + A/B alt vs. production0726 (1 vs. 5 eindeutige Queries) - weber/korrekturen/: Ablage für Modell-Korrekturen (kimi/claude/grok) - README als Lab-README (Struktur + Methode) Co-Authored-By: Claude Fable 5 --- README.md | 64 +++++++++++------------- weber/abweichungs-analyse.md | 80 ++++++++++++++++++++++++++++++ bericht.md => weber/bericht.md | 0 weber/korrekturen/README.md | 19 +++++++ toolcalls.md => weber/toolcalls.md | 0 5 files changed, 129 insertions(+), 34 deletions(-) create mode 100644 weber/abweichungs-analyse.md rename bericht.md => weber/bericht.md (100%) create mode 100644 weber/korrekturen/README.md rename toolcalls.md => weber/toolcalls.md (100%) diff --git a/README.md b/README.md index 9b460e8..9e39517 100644 --- a/README.md +++ b/README.md @@ -1,42 +1,38 @@ -# Stefan Weber – Analytischer Bericht: Plagiatsgutachter zwischen Wissenschaft und Verdachtskommunikation +# sokrates-qs — Qualitätssicherung & Bericht-Evals -## Beschreibung +Vergleichs- und Eval-Lab für Sokrates-Berichte. Pro analysiertem Bericht ein +Unterordner mit dem Original, dem Tool-Call-Log, unabhängigen Modell-Korrekturen +und einer Abweichungs-Analyse. Ziel: aus konkreten Berichten belastbare +Faktentreue-/Grounding-Befunde und Regressionsfälle gewinnen — statt Einzelfall- +Gefühl. -Analyse und Dokumentation der methodischen Mängel in den Gutachten von Doz. Dr. Stefan Weber, mit Fokus auf überdehnte Verdachtslagen, politische Selektivität und fehlende wissenschaftliche Absicherung. +## Struktur (pro Bericht ein Ordner) -## Inhalt des Repos +``` +/ + bericht.md # der Original-Bericht der Engine + toolcalls.md # dokumentierte Tool-Aufrufe (Recherche-Spur) + abweichungs-analyse.md # Faktentreue/Grounding-Befunde (Typ + Konfidenz) + A/B + korrekturen/ # Korrektur-Fassungen durch mehrere Modelle + .md +``` -- [`bericht.md`](bericht.md) – Der vollständige analytische Bericht als Markdown -- [`toolcalls.md`](toolcalls.md) – Detaillierte Dokumentation aller durchgeführten Recherchetool-Aufrufe mit Zeitstempeln, Suchbegriffen und Ergebnissen +## Enthaltene Analysen -## Methodology / Vorgehen +- [`weber/`](weber/) — Stefan Weber (Plagiatsgutachten, Fälle Baerbock/Habeck/ + Brosius-Gersdorf). Erster Eintrag; A/B zur Query-Diversität vor/nach dem + Tool-Call-Fix in [`weber/abweichungs-analyse.md`](weber/abweichungs-analyse.md). -Die Analyse wurde in vier Schritten durchgeführt: +## Methode -1. **Webrecherche (web_search):** Mehrstufige Suche nach methodischer Kritik an Stefan Weber, konkret zu den Fällen Baerbock, Habeck und Brosius-Gersdorf, sowie zur grundlegenden Debatte um seine Gutachterpraxis. -2. **Quellenauswertung:** Ausgewertet wurden Berichte von: SPIEGEL, Zeit Online, Tagesspiegel, Tagesschau, FAZ, Augsburger Allgemeine, Berliner Morgenpost, FALTER, fr.de, rsw.beck.de, sowie Webers eigene Seite plagiatsgutachten.com. -3. **Chronologische Verdichtung:** Die Befunde wurden chronologisch und nach Vorwurfstyp geordnet. -4. **Faktencheck:** Gegengutachten und Entlastungsberichte wurden den Weber'schen Vorwürfen gegenübergestellt. +1. **Original + Toolcalls** ablegen. +2. **Abweichungen** gegen die abgerufenen und offenen Quellen kategorisieren + (falsches Attribut / Datum / Attribution / Zitat-Integrität / ungegroundeter + Fakt), mit Konfidenz. +3. **Modell-Korrekturen** (mehrere unabhängige Modelle) daneben — Konsens = + hohe Konfidenz, Dissens = strittig. Korrektoren sind selbst LLMs → bei realen + Personen gegen Primärquellen absichern. +4. Bestätigte Fehler werden **Regressionsfälle** für künftige Läufe. -## Recherchefragen - -- Welche methodischen Mängel werden Webers Gutachterpraxis vorgeworfen? -- Welche konkreten Fälle (Baerbock, Habeck, Brosius-Gersdorf) sind dokumentiert? -- Welche Gegengutachten und Entlastungen gibt es? -- Welche juristischen Auseinandersetzungen sind dokumentiert? -- Inwiefern bestätigt die Quellenlage die These der „Verdachtskommunikation im Gewand eines Gutachtens"? - -## Methodische Limitationen - -- Alle Quellen sind öffentlich zugängliche Medienberichte; keine Einsicht in die internen Gutachten -- Die Analyse gibt den Stand der öffentlichen Debatte wieder und stellt keine Rechtsberatung dar -- Gegengutachten wurden nur indirekt (über Medienberichte) ausgewertet - -## Verwendete Tools - -- web_search (Suchen nach methodischer Kritik, Einzelfällen, Medienberichten) -- Weitere Quellen: direkte URL-Aufrufe über web_search - -## Lizenz - -[CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) +*Alle Quellen sind öffentlich zugängliche Medienberichte; die Berichte geben den +Stand der öffentlichen Debatte wieder und stellen keine Rechtsberatung dar.* diff --git a/weber/abweichungs-analyse.md b/weber/abweichungs-analyse.md new file mode 100644 index 0000000..ed354f1 --- /dev/null +++ b/weber/abweichungs-analyse.md @@ -0,0 +1,80 @@ +# Abweichungs-Analyse — Weber-Bericht + +> Erstellt 24.07.2026. Bewertet die **Faktentreue / Groundedness** des +> [`bericht.md`](bericht.md) gegen den Tool-Call-Log ([`toolcalls.md`](toolcalls.md)) +> und offene Quellen. Kein Urteil über die inhaltliche These des Berichts — +> nur darüber, ob die Einzelaussagen durch abgerufene Quellen gedeckt sind. + +## Kernbefund: Retrieval-Monotonie + +Alle **sechs** `web_search`-Aufrufe liefen mit **derselben** Query +(`"Stefan Weber" Brosius-Gersdorf Plagiat Vorwurf methodische Kritik`, +toolcalls.md Z. 18 ff.). Der Bericht macht aber spezifische Detailaussagen über +mehrere verschiedene Fälle (Baerbock, Habeck, Brosius-Gersdorf, Entgleisungen). +Eine Brosius-Gersdorf-fokussierte Query kann diese Teilthemen nicht decken → +die Detailfakten stammen überwiegend aus dem **parametrischen Gedächtnis des +Modells**, nachträglich mit Quellen-URLs garniert, nicht aus abgerufenem Text. +Das ist der klassische „confident citations, ungegroundete Fakten"-Modus. + +Ursache: derselbe Tool-Call-Bug, der zeitgleich gefixt wurde (Args-Parsing des +MiniMax-Textdialekts) — die pro Teilaspekt *unterschiedlichen* Suchen kamen nie +durch und kollabierten auf die eine Query. Siehe A/B unten. + +> Vorsicht: `toolcalls.md` ist ein modell-*erzählter* Log (Platzhalter +> „(Recherche-Runde 1)" statt echter Zeitstempel), kein harter Ausführungs- +> Trace. Der wahre Beleg läge in den llama-server-Logs. Dass sogar der +> selbstgeschriebene Log identische Queries einräumt, ist aber eher belastend. + +## Konkrete Abweichungen (nach Typ, mit Konfidenz) + +| # | Fund | Fundort | Typ | Konfidenz | +|---|---|---|---|---| +| 1 | Brosius-Gersdorf als **„CDU"** geführt — sie war die **SPD-vorgeschlagene** BVerfG-Kandidatin, keine CDU-Politikerin; widerspricht sogar der eigenen „Selektivität gegen Grüne+SPD"-These | bericht.md Z. 56 | falsches Attribut | hoch | +| 2 | Brosius-Gersdorf-Affäre auf **„Februar 2025"** datiert — der BVerfG-Wahl-Eklat war **Juli 2025** | Z. 110 | Datumsfehler | mittel-hoch | +| 3 | Zeit-Zitat als **„März 2024"** gelabelt, URL zeigt auf **2021-09** | Z. 152, 218 | Zitat/Datum inkonsistent | hoch | +| 4 | „Frau Guttenberg des politischen Sachbuchs" **Baerbock** zugeschrieben — liest sich wie Fremdkommentar, nicht wie ein Baerbock-Zitat | Z. 73 | unbelegte Attribution | mittel | +| 5 | Quellenverzeichnis: [4], [10], [14] fehlen, [8] doppelt vergeben | Z. 218–234 | Zitat-Integrität | hoch | +| 6 | Zahlen 29 / 128 / 543 / 91 — plausibel, aber bei identischer Query nicht wirklich gegroundet | mehrere | ungegroundeter Fakt | mittel | + +Die reputationssensiblen Aussagen über reale Personen (Partei, Daten, wörtliche +Zitate) sind genau die am schwächsten gegroundeten — vor Veröffentlichung +zwingend gegen Primärquellen prüfen, nicht gegen Modell-Konsens. + +## A/B: Query-Diversität alt vs. gefixte Engine (`production0726`) + +Recherche-Phase mit echten Such-Tools + Report-Intent nachgefahren +(Pipeline-Näherung, nicht der authentifizierte `!bericht`-Lauf): + +| | alt (Bericht, kaputte Args) | neu (`production0726`) | +|---|---|---| +| Suchrunden | 6 | 5 | +| **eindeutige Queries** | **1** (6× identisch) | **5 (alle verschieden)** | + +Die fünf neuen Queries, sauber pro Teilaspekt getrennt und alle als native +`tool_calls` (kein Leck, korrekt geparste Args): + +1. `Stefan Weber Plagiatsgutachten Annalena Baerbock methodische Kritik` +2. `Stefan Weber Plagiatsgutachter methodische Mängel Kritik Wissenschaft` +3. `Stefan Weber Plagiat Robert Habeck Prüfung methodisch fragwürdig` +4. `Stefan Weber Plagiat Brosius-Gersdorf Gutachten Bewertung` +5. `"Stefan Weber" Plagiatsexperte Qualifikation Hochschuldozent` + +**Interpretation:** Die Query-Monotonie war ein Symptom des kaputten Tool-Call- +Pfads, kein Modell-Wille — mit gefixten Args landen unterschiedliche Suchen. +**Einschränkung:** Der Test-Prompt hat Diversität explizit verlangt; der saubere +Beweis ist der echte `!bericht`-Neulauf (siehe Empfehlung). + +## Empfohlene Hebel (kein Fine-Tuning) + +1. **Retrieval-Diversität** — pro Teilaspekt eigene Query. Durch den Bug-Fix + technisch ermöglicht; im Report-Prompt explizit einfordern. +2. **Cite-or-abstain** — jede Zahl/Datum/Zitat/Attribut muss auf ein abgerufenes + Snippet zurückführbar sein, sonst als unsicher markieren. +3. **Zitat-Integrität** — nur URLs ausgeben, die ein Tool wirklich zurücklieferte. + +## Nächster Schritt + +Echten `!bericht` zu Weber auf `production0726` neu laufen lassen, Bericht + +Toolcalls hier daneben ablegen (`bericht-v2.md` / `toolcalls-v2.md`), Abweichungen +erneut kategorisieren. Dann zeigt sich, ob die Engine allein das Grounding fixt +oder noch ein Prompt-Feinschliff dranmuss. diff --git a/bericht.md b/weber/bericht.md similarity index 100% rename from bericht.md rename to weber/bericht.md diff --git a/weber/korrekturen/README.md b/weber/korrekturen/README.md new file mode 100644 index 0000000..f2c1698 --- /dev/null +++ b/weber/korrekturen/README.md @@ -0,0 +1,19 @@ +# Modell-Korrekturen — Weber-Bericht + +Hier liegen die Korrektur-/Faktencheck-Fassungen des Berichts durch mehrere +unabhängige Modelle. Lokal bei Peter unter `E:\sokrates\output\sokrates-qs\weber` +(Windows) — von der GB10 aus nicht erreichbar, daher von dort pushen. + +Erwartete Dateien (Namen anpassen nach Bedarf): + +- `claude-fable.md` — Korrektur durch Claude Fable +- `kimi-k3.md` — Korrektur durch Kimi K3 +- `grok-4.5.md` — Korrektur durch Grok 4.5 + +## Auswertungs-Idee + +Wo **alle drei** dieselbe Korrektur machen → hohe Konfidenz, echter Fehler +(Kandidat für `../abweichungs-analyse.md` + späteren Regressionsfall). Wo sie +sich **uneinig** sind → strittiger/ambiger Fakt, NICHT „schärfen". Korrektoren +sind selbst LLMs — Konsens ist starker Verdacht, aber die Absicherung bei einer +realen Person bleiben Primärquellen. diff --git a/toolcalls.md b/weber/toolcalls.md similarity index 100% rename from toolcalls.md rename to weber/toolcalls.md