Samples · baseline.sanity

Run #75 · Adapter v1.0.0 · 10/10 Samples angezeigt · Score 100%
‹ Zurück zum Run-Detail

KI-Auswertung

Generiert 2026-05-13 21:38 · claude-sonnet-4-6

Zusammenfassung

Der Sanity-Benchmark wurde mit einer Pass-Rate von 100 % (10/10) fehlerfrei bestanden. Das Modell liefert auf triviale Faktenfragen präzise, formatgerechte Antworten ohne Abweichungen.

Stärken

  • Vollständige Formatdisziplin: Alle Antworten halten die Vorgabe (nur Zahl, nur ein Wort) exakt ein
  • Keine Halluzinationen oder inhaltlichen Fehler bei keiner der zehn Fragen
  • Null Fehler auf API- oder Inferenzebene, der Endpoint ist stabil erreichbar

Schwächen

  • Keine Schwächen im Rahmen dieses Tests erkennbar
  • Der Benchmark ist zu einfach, um belastbare Aussagen über Modellqualität zu treffen

Auffälligkeiten

Keine Muster in Failures erkennbar, da keine Failures aufgetreten sind. Auffällig positiv ist, dass das Modell bei Großbuchstaben-Aufgaben nicht das gesamte Wort mit Satzzeichen oder Erklärungen ergänzt hat — ein häufiger Stolperstein bei instruktionsarmen Prompts.

Empfehlung

Den Sanity-Benchmark als bestanden abhaken und die Testtiefe erhöhen: Komplexere Sub-Benchmarks mit längeren Kontexten, mehrsprachigen Prompts oder logischen Schlussfolgerungsaufgaben sollten als nächstes ausgewertet werden, um aussagekräftigere Qualitätsmetriken zu erhalten. Der aktuelle Test liefert lediglich eine Grundabsicherung, keine differenzierte Leistungsbewertung.

Übersicht

10 Samples
Verteilung
10
Score-Histogramm
0 – 0.1: 0 0.1 – 0.2: 0 0.2 – 0.3: 0 0.3 – 0.4: 0 0.4 – 0.5: 0 0.5 – 0.6: 0 0.6 – 0.7: 0 0.7 – 0.8: 0 0.8 – 0.9: 0 0.9 – 1: 10
0.0 ────── 1.0
Latenz (ms)
p50: 499 p95: 514 mean: 488
Tokens/s
p50: 5.3 mean: 5.3
TTFT (ms)
p50: 468 p95: 482
Status Score-Schwelle Score < 0.5
Frage-ID Status Score Prompt Latenz Tokens/s TTFT
sanity.0 passed 100% Was ist 2 plus 2? Antworte nur mit der Zahl, sonst nichts. 449 ms 4.5 420 ms
Lade Detail …
sanity.1 passed 100% Was ist die Hauptstadt von Deutschland? Antworte mit einem einzigen Wort. 504 ms 4 483 ms
Lade Detail …
sanity.2 passed 100% Schreibe das Wort Pizza in Großbuchstaben. 484 ms 8.3 427 ms
Lade Detail …
sanity.3 passed 100% Was ist die Hauptstadt von Frankreich? Antworte mit einem einzigen Wort. 500 ms 4 478 ms
Lade Detail …
sanity.4 passed 100% Was ist 5 mal 6? Antworte nur mit der Zahl. 514 ms 5.8 479 ms
Lade Detail …
sanity.5 passed 100% Schreibe das Wort Hund in Großbuchstaben. 485 ms 6.2 443 ms
Lade Detail …
sanity.6 passed 100% Wie viele Stunden hat ein Tag? Antworte nur mit der Zahl. 497 ms 6 463 ms
Lade Detail …
sanity.7 passed 100% Welche Farbe hat eine reife Tomate? Antworte mit einem einzigen Wort. 426 ms 4.7 399 ms
Lade Detail …
sanity.8 passed 100% Wie viele Beine hat eine Spinne? Antworte nur mit der Zahl. 508 ms 3.9 480 ms
Lade Detail …
sanity.9 passed 100% Wie heißt der größte Planet in unserem Sonnensystem? Antworte mit einem einzigen… 514 ms 5.8 473 ms
Lade Detail …