Samples · baseline.sanity

Run #63 · Adapter v1.0.0 · 10/10 Samples angezeigt · Score 100%
‹ Zurück zum Run-Detail

KI-Auswertung

Generiert 2026-05-12 02:17 · claude-sonnet-4-6

Zusammenfassung

Der Sanity-Benchmark wurde mit einer Pass-Rate von 100 % (10/10) fehlerfrei bestanden. Das Modell liefert auf triviale Fragen präzise, formatgerechte Antworten ohne jegliche Abweichungen.

Stärken

  • Perfekte Instruction-Following-Fähigkeit: Alle Formatvorgaben (einzelnes Wort, nur Zahl) wurden exakt eingehalten
  • Null Fehler und Null Ausfälle — der Endpoint ist stabil und grundsätzlich funktionsfähig

Schwächen

  • Keine Schwächen auf diesem Niveau erkennbar; der Test ist jedoch zu trivial für differenzierte Aussagen
  • Kein Belastungstest für längere Kontexte, Ambiguität oder Mehrsprachigkeit

Auffälligkeiten

Keine negativen Muster erkennbar. Alle Antworten sind minimal und präzise — das Modell tendiert nicht zu unerwünschten Zusätzen oder Erklärungen, was positiv zu werten ist.

Empfehlung

Den Sanity-Benchmark als bestanden abhaken und die Evaluierung auf anspruchsvollere Sub-Benchmarks konzentrieren, insbesondere auf Reasoning, Code-Generierung und Long-Context-Aufgaben, da der aktuelle Test keine Aussagekraft über die tatsächliche Leistungsfähigkeit des Modells bei komplexen Aufgaben bietet.

Übersicht

10 Samples
Verteilung
10
Score-Histogramm
0 – 0.1: 0 0.1 – 0.2: 0 0.2 – 0.3: 0 0.3 – 0.4: 0 0.4 – 0.5: 0 0.5 – 0.6: 0 0.6 – 0.7: 0 0.7 – 0.8: 0 0.8 – 0.9: 0 0.9 – 1: 10
0.0 ────── 1.0
Latenz (ms)
p50: 519 p95: 589 mean: 526
Tokens/s
p50: 4.9 mean: 5
TTFT (ms)
p50: 482 p95: 563
Status Score-Schwelle Score < 0.5
Frage-ID Status Score Prompt Latenz Tokens/s TTFT
sanity.0 passed 100% Was ist 2 plus 2? Antworte nur mit der Zahl, sonst nichts. 544 ms 3.7 517 ms
Lade Detail …
sanity.1 passed 100% Was ist die Hauptstadt von Deutschland? Antworte mit einem einzigen Wort. 489 ms 4.1 466 ms
Lade Detail …
sanity.2 passed 100% Schreibe das Wort Pizza in Großbuchstaben. 535 ms 7.5 473 ms
Lade Detail …
sanity.3 passed 100% Was ist die Hauptstadt von Frankreich? Antworte mit einem einzigen Wort. 625 ms 3.2 601 ms
Lade Detail …
sanity.4 passed 100% Was ist 5 mal 6? Antworte nur mit der Zahl. 485 ms 6.2 481 ms
Lade Detail …
sanity.5 passed 100% Schreibe das Wort Hund in Großbuchstaben. 515 ms 5.8 491 ms
Lade Detail …
sanity.6 passed 100% Wie viele Stunden hat ein Tag? Antworte nur mit der Zahl. 523 ms 5.7 480 ms
Lade Detail …
sanity.7 passed 100% Welche Farbe hat eine reife Tomate? Antworte mit einem einzigen Wort. 506 ms 4 477 ms
Lade Detail …
sanity.8 passed 100% Wie viele Beine hat eine Spinne? Antworte nur mit der Zahl. 506 ms 4 482 ms
Lade Detail …
sanity.9 passed 100% Wie heißt der größte Planet in unserem Sonnensystem? Antworte mit einem einzigen… 534 ms 5.6 491 ms
Lade Detail …