Samples · baseline.sanity

Run #68 · Adapter v1.0.0 · 10/10 Samples angezeigt · Score 100%
‹ Zurück zum Run-Detail

KI-Auswertung

Generiert 2026-05-12 19:42 · claude-sonnet-4-6

Zusammenfassung

Der Sanity-Benchmark wurde mit einer Pass-Rate von 100 % (10/10) fehlerfrei bestanden. Das Modell liefert auf triviale Fragen korrekte, präzise und formatgetreue Antworten.

Stärken

  • Vollständige Korrektheit bei allen zehn Testfragen ohne Ausnahme
  • Strikte Einhaltung der Formatvorgaben (nur Zahl, nur ein Wort, Großbuchstaben) ohne unerwünschte Zusatztexte
  • Keine Timeouts oder Fehler auf Infrastrukturebene

Schwächen

  • Keine Schwächen im Rahmen dieses Benchmarks feststellbar
  • Der Smoke-Test deckt ausschließlich triviale Fälle ab; Rückschlüsse auf komplexere Aufgaben sind nicht möglich

Auffälligkeiten

Keine Muster in Failures erkennbar, da keinerlei Fehler aufgetreten sind. Die Antworten sind durchgehend minimal und exakt, was auf ein gut konfiguriertes Ausgabe-Trimming oder ein Modell mit starker Instruktionsfolge hindeutet.

Empfehlung

Den Sanity-Benchmark als bestanden abhaken und die Testtiefe erhöhen: als nächsten Schritt einen anspruchsvolleren Sub-Benchmark mit mehrstufigem Reasoning, längeren Kontexten oder mehrsprachigen Prompts ausführen, um belastbarere Aussagen über die tatsächliche Modellqualität zu erhalten.

Übersicht

10 Samples
Verteilung
10
Score-Histogramm
0 – 0.1: 0 0.1 – 0.2: 0 0.2 – 0.3: 0 0.3 – 0.4: 0 0.4 – 0.5: 0 0.5 – 0.6: 0 0.6 – 0.7: 0 0.7 – 0.8: 0 0.8 – 0.9: 0 0.9 – 1: 10
0.0 ────── 1.0
Latenz (ms)
p50: 435 p95: 498 mean: 442
Tokens/s
p50: 5.5 mean: 5.9
TTFT (ms)
p50: 397 p95: 463
Status Score-Schwelle Score < 0.5
Frage-ID Status Score Prompt Latenz Tokens/s TTFT
sanity.0 passed 100% Was ist 2 plus 2? Antworte nur mit der Zahl, sonst nichts. 403 ms 5 379 ms
Lade Detail …
sanity.1 passed 100% Was ist die Hauptstadt von Deutschland? Antworte mit einem einzigen Wort. 418 ms 4.8 390 ms
Lade Detail …
sanity.2 passed 100% Schreibe das Wort Pizza in Großbuchstaben. 435 ms 9.2 363 ms
Lade Detail …
sanity.3 passed 100% Was ist die Hauptstadt von Frankreich? Antworte mit einem einzigen Wort. 497 ms 4 460 ms
Lade Detail …
sanity.4 passed 100% Was ist 5 mal 6? Antworte nur mit der Zahl. 498 ms 6 461 ms
Lade Detail …
sanity.5 passed 100% Schreibe das Wort Hund in Großbuchstaben. 402 ms 7.5 366 ms
Lade Detail …
sanity.6 passed 100% Wie viele Stunden hat ein Tag? Antworte nur mit der Zahl. 408 ms 7.4 369 ms
Lade Detail …
sanity.7 passed 100% Welche Farbe hat eine reife Tomate? Antworte mit einem einzigen Wort. 434 ms 4.6 405 ms
Lade Detail …
sanity.8 passed 100% Wie viele Beine hat eine Spinne? Antworte nur mit der Zahl. 485 ms 4.1 465 ms
Lade Detail …
sanity.9 passed 100% Wie heißt der größte Planet in unserem Sonnensystem? Antworte mit einem einzigen… 440 ms 6.8 403 ms
Lade Detail …