efdb9832d6
- Repo umbenannt weberanalyse -> sokrates-qs (QS/Bericht-Eval-Lab) - Weber-Bericht + Toolcalls nach weber/ verschoben (pro-Bericht-Struktur) - weber/abweichungs-analyse.md: Faktentreue-Befunde (CDU-Fehler, Datum, Zitat-Integrität; Typ+Konfidenz) + Kernbefund Retrieval-Monotonie (6x identische Query) + A/B alt vs. production0726 (1 vs. 5 eindeutige Queries) - weber/korrekturen/: Ablage für Modell-Korrekturen (kimi/claude/grok) - README als Lab-README (Struktur + Methode) Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
80 lines
4.6 KiB
Markdown
80 lines
4.6 KiB
Markdown
# Abweichungs-Analyse — Weber-Bericht
|
||
|
||
> Erstellt 24.07.2026. Bewertet die **Faktentreue / Groundedness** des
|
||
> [`bericht.md`](bericht.md) gegen den Tool-Call-Log ([`toolcalls.md`](toolcalls.md))
|
||
> und offene Quellen. Kein Urteil über die inhaltliche These des Berichts —
|
||
> nur darüber, ob die Einzelaussagen durch abgerufene Quellen gedeckt sind.
|
||
|
||
## Kernbefund: Retrieval-Monotonie
|
||
|
||
Alle **sechs** `web_search`-Aufrufe liefen mit **derselben** Query
|
||
(`"Stefan Weber" Brosius-Gersdorf Plagiat Vorwurf methodische Kritik`,
|
||
toolcalls.md Z. 18 ff.). Der Bericht macht aber spezifische Detailaussagen über
|
||
mehrere verschiedene Fälle (Baerbock, Habeck, Brosius-Gersdorf, Entgleisungen).
|
||
Eine Brosius-Gersdorf-fokussierte Query kann diese Teilthemen nicht decken →
|
||
die Detailfakten stammen überwiegend aus dem **parametrischen Gedächtnis des
|
||
Modells**, nachträglich mit Quellen-URLs garniert, nicht aus abgerufenem Text.
|
||
Das ist der klassische „confident citations, ungegroundete Fakten"-Modus.
|
||
|
||
Ursache: derselbe Tool-Call-Bug, der zeitgleich gefixt wurde (Args-Parsing des
|
||
MiniMax-Textdialekts) — die pro Teilaspekt *unterschiedlichen* Suchen kamen nie
|
||
durch und kollabierten auf die eine Query. Siehe A/B unten.
|
||
|
||
> Vorsicht: `toolcalls.md` ist ein modell-*erzählter* Log (Platzhalter
|
||
> „(Recherche-Runde 1)" statt echter Zeitstempel), kein harter Ausführungs-
|
||
> Trace. Der wahre Beleg läge in den llama-server-Logs. Dass sogar der
|
||
> selbstgeschriebene Log identische Queries einräumt, ist aber eher belastend.
|
||
|
||
## Konkrete Abweichungen (nach Typ, mit Konfidenz)
|
||
|
||
| # | Fund | Fundort | Typ | Konfidenz |
|
||
|---|---|---|---|---|
|
||
| 1 | Brosius-Gersdorf als **„CDU"** geführt — sie war die **SPD-vorgeschlagene** BVerfG-Kandidatin, keine CDU-Politikerin; widerspricht sogar der eigenen „Selektivität gegen Grüne+SPD"-These | bericht.md Z. 56 | falsches Attribut | hoch |
|
||
| 2 | Brosius-Gersdorf-Affäre auf **„Februar 2025"** datiert — der BVerfG-Wahl-Eklat war **Juli 2025** | Z. 110 | Datumsfehler | mittel-hoch |
|
||
| 3 | Zeit-Zitat als **„März 2024"** gelabelt, URL zeigt auf **2021-09** | Z. 152, 218 | Zitat/Datum inkonsistent | hoch |
|
||
| 4 | „Frau Guttenberg des politischen Sachbuchs" **Baerbock** zugeschrieben — liest sich wie Fremdkommentar, nicht wie ein Baerbock-Zitat | Z. 73 | unbelegte Attribution | mittel |
|
||
| 5 | Quellenverzeichnis: [4], [10], [14] fehlen, [8] doppelt vergeben | Z. 218–234 | Zitat-Integrität | hoch |
|
||
| 6 | Zahlen 29 / 128 / 543 / 91 — plausibel, aber bei identischer Query nicht wirklich gegroundet | mehrere | ungegroundeter Fakt | mittel |
|
||
|
||
Die reputationssensiblen Aussagen über reale Personen (Partei, Daten, wörtliche
|
||
Zitate) sind genau die am schwächsten gegroundeten — vor Veröffentlichung
|
||
zwingend gegen Primärquellen prüfen, nicht gegen Modell-Konsens.
|
||
|
||
## A/B: Query-Diversität alt vs. gefixte Engine (`production0726`)
|
||
|
||
Recherche-Phase mit echten Such-Tools + Report-Intent nachgefahren
|
||
(Pipeline-Näherung, nicht der authentifizierte `!bericht`-Lauf):
|
||
|
||
| | alt (Bericht, kaputte Args) | neu (`production0726`) |
|
||
|---|---|---|
|
||
| Suchrunden | 6 | 5 |
|
||
| **eindeutige Queries** | **1** (6× identisch) | **5 (alle verschieden)** |
|
||
|
||
Die fünf neuen Queries, sauber pro Teilaspekt getrennt und alle als native
|
||
`tool_calls` (kein Leck, korrekt geparste Args):
|
||
|
||
1. `Stefan Weber Plagiatsgutachten Annalena Baerbock methodische Kritik`
|
||
2. `Stefan Weber Plagiatsgutachter methodische Mängel Kritik Wissenschaft`
|
||
3. `Stefan Weber Plagiat Robert Habeck Prüfung methodisch fragwürdig`
|
||
4. `Stefan Weber Plagiat Brosius-Gersdorf Gutachten Bewertung`
|
||
5. `"Stefan Weber" Plagiatsexperte Qualifikation Hochschuldozent`
|
||
|
||
**Interpretation:** Die Query-Monotonie war ein Symptom des kaputten Tool-Call-
|
||
Pfads, kein Modell-Wille — mit gefixten Args landen unterschiedliche Suchen.
|
||
**Einschränkung:** Der Test-Prompt hat Diversität explizit verlangt; der saubere
|
||
Beweis ist der echte `!bericht`-Neulauf (siehe Empfehlung).
|
||
|
||
## Empfohlene Hebel (kein Fine-Tuning)
|
||
|
||
1. **Retrieval-Diversität** — pro Teilaspekt eigene Query. Durch den Bug-Fix
|
||
technisch ermöglicht; im Report-Prompt explizit einfordern.
|
||
2. **Cite-or-abstain** — jede Zahl/Datum/Zitat/Attribut muss auf ein abgerufenes
|
||
Snippet zurückführbar sein, sonst als unsicher markieren.
|
||
3. **Zitat-Integrität** — nur URLs ausgeben, die ein Tool wirklich zurücklieferte.
|
||
|
||
## Nächster Schritt
|
||
|
||
Echten `!bericht` zu Weber auf `production0726` neu laufen lassen, Bericht +
|
||
Toolcalls hier daneben ablegen (`bericht-v2.md` / `toolcalls-v2.md`), Abweichungen
|
||
erneut kategorisieren. Dann zeigt sich, ob die Engine allein das Grounding fixt
|
||
oder noch ein Prompt-Feinschliff dranmuss.
|