sokrates-qs/weber/abweichungs-analyse.md

Abweichungs-Analyse — Weber-Bericht

Erstellt 24.07.2026. Bewertet die Faktentreue / Groundedness des bericht.md gegen den Tool-Call-Log (toolcalls.md) und offene Quellen. Kein Urteil über die inhaltliche These des Berichts — nur darüber, ob die Einzelaussagen durch abgerufene Quellen gedeckt sind.

Kernbefund: Retrieval-Monotonie

Alle sechs web_search-Aufrufe liefen mit derselben Query ("Stefan Weber" Brosius-Gersdorf Plagiat Vorwurf methodische Kritik, toolcalls.md Z. 18 ff.). Der Bericht macht aber spezifische Detailaussagen über mehrere verschiedene Fälle (Baerbock, Habeck, Brosius-Gersdorf, Entgleisungen). Eine Brosius-Gersdorf-fokussierte Query kann diese Teilthemen nicht decken → die Detailfakten stammen überwiegend aus dem parametrischen Gedächtnis des Modells, nachträglich mit Quellen-URLs garniert, nicht aus abgerufenem Text. Das ist der klassische „confident citations, ungegroundete Fakten"-Modus.

Ursache: derselbe Tool-Call-Bug, der zeitgleich gefixt wurde (Args-Parsing des MiniMax-Textdialekts) — die pro Teilaspekt unterschiedlichen Suchen kamen nie durch und kollabierten auf die eine Query. Siehe A/B unten.

Vorsicht: toolcalls.md ist ein modell-erzählter Log (Platzhalter „(Recherche-Runde 1)" statt echter Zeitstempel), kein harter Ausführungs- Trace. Der wahre Beleg läge in den llama-server-Logs. Dass sogar der selbstgeschriebene Log identische Queries einräumt, ist aber eher belastend.

Konkrete Abweichungen (nach Typ, mit Konfidenz)

#	Fund	Fundort	Typ	Konfidenz
1	Brosius-Gersdorf als „CDU" geführt — sie war die SPD-vorgeschlagene BVerfG-Kandidatin, keine CDU-Politikerin; widerspricht sogar der eigenen „Selektivität gegen Grüne+SPD"-These	bericht.md Z. 56	falsches Attribut	hoch
2	Brosius-Gersdorf-Affäre auf „Februar 2025" datiert — der BVerfG-Wahl-Eklat war Juli 2025	Z. 110	Datumsfehler	mittel-hoch
3	Zeit-Zitat als „März 2024" gelabelt, URL zeigt auf 2021-09	Z. 152, 218	Zitat/Datum inkonsistent	hoch
4	„Frau Guttenberg des politischen Sachbuchs" Baerbock zugeschrieben — liest sich wie Fremdkommentar, nicht wie ein Baerbock-Zitat	Z. 73	unbelegte Attribution	mittel
5	Quellenverzeichnis: [4], [10], [14] fehlen, [8] doppelt vergeben	Z. 218–234	Zitat-Integrität	hoch
6	Zahlen 29 / 128 / 543 / 91 — plausibel, aber bei identischer Query nicht wirklich gegroundet	mehrere	ungegroundeter Fakt	mittel

Die reputationssensiblen Aussagen über reale Personen (Partei, Daten, wörtliche Zitate) sind genau die am schwächsten gegroundeten — vor Veröffentlichung zwingend gegen Primärquellen prüfen, nicht gegen Modell-Konsens.

A/B: Query-Diversität alt vs. gefixte Engine (production0726)

Recherche-Phase mit echten Such-Tools + Report-Intent nachgefahren (Pipeline-Näherung, nicht der authentifizierte !bericht-Lauf):

	alt (Bericht, kaputte Args)	neu (production0726)
Suchrunden	6	5
eindeutige Queries	1 (6× identisch)	5 (alle verschieden)

Die fünf neuen Queries, sauber pro Teilaspekt getrennt und alle als native tool_calls (kein Leck, korrekt geparste Args):

1. Stefan Weber Plagiatsgutachten Annalena Baerbock methodische Kritik
2. Stefan Weber Plagiatsgutachter methodische Mängel Kritik Wissenschaft
3. Stefan Weber Plagiat Robert Habeck Prüfung methodisch fragwürdig
4. Stefan Weber Plagiat Brosius-Gersdorf Gutachten Bewertung
5. "Stefan Weber" Plagiatsexperte Qualifikation Hochschuldozent

Interpretation: Die Query-Monotonie war ein Symptom des kaputten Tool-Call- Pfads, kein Modell-Wille — mit gefixten Args landen unterschiedliche Suchen. Einschränkung: Der Test-Prompt hat Diversität explizit verlangt; der saubere Beweis ist der echte !bericht-Neulauf (siehe Empfehlung).

Empfohlene Hebel (kein Fine-Tuning)

1. Retrieval-Diversität — pro Teilaspekt eigene Query. Durch den Bug-Fix technisch ermöglicht; im Report-Prompt explizit einfordern.
2. Cite-or-abstain — jede Zahl/Datum/Zitat/Attribut muss auf ein abgerufenes Snippet zurückführbar sein, sonst als unsicher markieren.
3. Zitat-Integrität — nur URLs ausgeben, die ein Tool wirklich zurücklieferte.

Nächster Schritt

Echten !bericht zu Weber auf production0726 neu laufen lassen, Bericht + Toolcalls hier daneben ablegen (bericht-v2.md / toolcalls-v2.md), Abweichungen erneut kategorisieren. Dann zeigt sich, ob die Engine allein das Grounding fixt oder noch ein Prompt-Feinschliff dranmuss.