Samples · baseline.sanity

Run #57 · Adapter v1.0.0 · 10/10 Samples angezeigt · Score 100%
‹ Zurück zum Run-Detail

KI-Auswertung

Generiert 2026-05-11 19:03 · claude-sonnet-4-6

Zusammenfassung

Der Sanity-Benchmark wurde mit einer Pass-Rate von 100 % (10/10) fehlerlos bestanden. Das Modell liefert auf alle trivialen Fragen korrekte und formatgerechte Antworten.

Stärken

  • Vollständige Korrektheit bei arithmetischen, geographischen und faktischen Fragen
  • Strikte Einhaltung der Formatvorgaben (Einzelwort, Zahl, Großbuchstaben) ohne zusätzliche Ausschweifungen

Schwächen

  • Keine Schwächen identifizierbar — der Benchmark ist jedoch trivial und aussagekräftig nur als Basisprüfung

Auffälligkeiten

Keine Fehler oder Muster erkennbar. Alle Antworten sind präzise und minimal, was auf gutes Instruction-Following bei einfachen, eng formulierten Prompts hindeutet. Die Stichproben zeigen keinerlei Tendenz zu Verbose-Antworten oder Formatverletzungen.

Empfehlung

Den Sanity-Benchmark als bestanden betrachten und die Ressourcen auf anspruchsvollere Sub-Benchmarks konzentrieren (z. B. Reasoning, längere Kontexte oder mehrsprachige Prompts), da dieser Test keine Schwachstellen aufdeckt und keine weiteren Maßnahmen erfordert.

Übersicht

10 Samples
Verteilung
10
Score-Histogramm
0 – 0.1: 0 0.1 – 0.2: 0 0.2 – 0.3: 0 0.3 – 0.4: 0 0.4 – 0.5: 0 0.5 – 0.6: 0 0.6 – 0.7: 0 0.7 – 0.8: 0 0.8 – 0.9: 0 0.9 – 1: 10
0.0 ────── 1.0
Latenz (ms)
p50: 422 p95: 554 mean: 454
Tokens/s
p50: 5.3 mean: 5.9
TTFT (ms)
p50: 382 p95: 517
Status Score-Schwelle Score < 0.5
Frage-ID Status Score Prompt Latenz Tokens/s TTFT
sanity.0 passed 100% Was ist 2 plus 2? Antworte nur mit der Zahl, sonst nichts. 397 ms 5 371 ms
Lade Detail …
sanity.1 passed 100% Was ist die Hauptstadt von Deutschland? Antworte mit einem einzigen Wort. 428 ms 4.7 390 ms
Lade Detail …
sanity.2 passed 100% Schreibe das Wort Pizza in Großbuchstaben. 406 ms 9.9 344 ms
Lade Detail …
sanity.3 passed 100% Was ist die Hauptstadt von Frankreich? Antworte mit einem einzigen Wort. 516 ms 3.9 490 ms
Lade Detail …
sanity.4 passed 100% Was ist 5 mal 6? Antworte nur mit der Zahl. 392 ms 7.7 347 ms
Lade Detail …
sanity.5 passed 100% Schreibe das Wort Hund in Großbuchstaben. 406 ms 7.4 371 ms
Lade Detail …
sanity.6 passed 100% Wie viele Stunden hat ein Tag? Antworte nur mit der Zahl. 416 ms 7.2 374 ms
Lade Detail …
sanity.7 passed 100% Welche Farbe hat eine reife Tomate? Antworte mit einem einzigen Wort. 568 ms 3.5 510 ms
Lade Detail …
sanity.8 passed 100% Wie viele Beine hat eine Spinne? Antworte nur mit der Zahl. 472 ms 4.2 444 ms
Lade Detail …
sanity.9 passed 100% Wie heißt der größte Planet in unserem Sonnensystem? Antworte mit einem einzigen… 536 ms 5.6 523 ms
Lade Detail …