Samples · baseline.sanity

Run #67 · Adapter v1.0.0 · 10/10 Samples angezeigt · Score 100%
‹ Zurück zum Run-Detail

KI-Auswertung

Generiert 2026-05-12 19:40 · claude-sonnet-4-6

Zusammenfassung

Der Sanity-Benchmark wurde mit einer Pass-Rate von 100 % (10/10) fehlerfrei bestanden. Das Modell liefert auf triviale Fragen präzise, formatgerechte Antworten ohne jegliche Abweichungen.

Stärken

  • Perfekte Befolgung von Formatvorgaben (nur Zahl, nur ein Wort, Großbuchstaben)
  • Keinerlei Halluzinationen oder inhaltliche Fehler bei einfachen Faktenfragen
  • Keine Latenz- oder Verbindungsfehler (0 Errors)

Schwächen

  • Keine Schwächen im Rahmen dieses Benchmarks erkennbar

Auffälligkeiten

Keine Muster in Failures feststellbar, da ausnahmslos alle Antworten korrekt waren. Die Antworten sind durchgehend minimal gehalten, was auf gute Instruction-Following-Fähigkeiten hindeutet. Es gibt keine Tendenz zu unerwünschten Zusatztexten oder Erklärungen.

Empfehlung

Der Sanity-Check ist unauffällig und bestätigt die grundlegende Funktionsfähigkeit des Endpoints. Da dieser Sub-Benchmark nur die absolute Mindestanforderung prüft, sollte als nächster Schritt ein anspruchsvollerer Benchmark (z. B. Reasoning, Code-Generierung oder mehrsprachige Prompts) ausgeführt werden, um die Leistungsgrenzen des Modells zu identifizieren.

Übersicht

10 Samples
Verteilung
10
Score-Histogramm
0 – 0.1: 0 0.1 – 0.2: 0 0.2 – 0.3: 0 0.3 – 0.4: 0 0.4 – 0.5: 0 0.5 – 0.6: 0 0.6 – 0.7: 0 0.7 – 0.8: 0 0.8 – 0.9: 0 0.9 – 1: 10
0.0 ────── 1.0
Latenz (ms)
p50: 404 p95: 439 mean: 401
Tokens/s
p50: 5.9 mean: 6.6
TTFT (ms)
p50: 367 p95: 407
Status Score-Schwelle Score < 0.5
Frage-ID Status Score Prompt Latenz Tokens/s TTFT
sanity.0 passed 100% Was ist 2 plus 2? Antworte nur mit der Zahl, sonst nichts. 406 ms 4.9 401 ms
Lade Detail …
sanity.1 passed 100% Was ist die Hauptstadt von Deutschland? Antworte mit einem einzigen Wort. 406 ms 4.9 382 ms
Lade Detail …
sanity.2 passed 100% Schreibe das Wort Pizza in Großbuchstaben. 343 ms 11.7 291 ms
Lade Detail …
sanity.3 passed 100% Was ist die Hauptstadt von Frankreich? Antworte mit einem einzigen Wort. 389 ms 5.1 363 ms
Lade Detail …
sanity.4 passed 100% Was ist 5 mal 6? Antworte nur mit der Zahl. 402 ms 7.5 367 ms
Lade Detail …
sanity.5 passed 100% Schreibe das Wort Hund in Großbuchstaben. 407 ms 7.4 367 ms
Lade Detail …
sanity.6 passed 100% Wie viele Stunden hat ein Tag? Antworte nur mit der Zahl. 454 ms 6.6 412 ms
Lade Detail …
sanity.7 passed 100% Welche Farbe hat eine reife Tomate? Antworte mit einem einzigen Wort. 382 ms 5.2 358 ms
Lade Detail …
sanity.8 passed 100% Wie viele Beine hat eine Spinne? Antworte nur mit der Zahl. 420 ms 4.8 397 ms
Lade Detail …
sanity.9 passed 100% Wie heißt der größte Planet in unserem Sonnensystem? Antworte mit einem einzigen… 396 ms 7.6 361 ms
Lade Detail …