Samples · baseline.sanity

Run #70 · Adapter v1.0.0 · 10/10 Samples angezeigt · Score 100%
‹ Zurück zum Run-Detail

KI-Auswertung

Generiert 2026-05-13 03:59 · claude-sonnet-4-6

Zusammenfassung

Der Sanity-Benchmark wurde mit einer Pass-Rate von 100 % (10/10) fehlerfrei bestanden. Das Modell liefert auf alle trivialen Fragen korrekte, präzise Antworten ohne Fehler oder Abweichungen.

Stärken

  • Vollständige Korrektheit bei allen Faktenfragen (Geografie, Mathematik, Allgemeinwissen)
  • Strikte Befolgung der Formatvorgaben: Antworten bestehen ausschließlich aus dem geforderten Wort oder der Zahl, kein überflüssiger Text
  • Null Fehler und null Ausfälle, der Endpoint ist stabil erreichbar und antwortet konsistent

Schwächen

  • Keine Schwächen im Rahmen dieses Tests erkennbar
  • Der Benchmark deckt ausschließlich triviale Fälle ab und erlaubt keine Rückschlüsse auf komplexere Aufgaben

Auffälligkeiten

Keine Muster in Failures oder Errors feststellbar, da sämtliche Stichproben erfolgreich waren. Die Antwortlänge ist in allen Fällen minimal und exakt passend zur Anforderung, was auf ein gutes Instruction-Following hindeutet.

Empfehlung

Der Sanity-Check ist bestanden und erfordert keine Anpassungen. Als nächsten Schritt sollten anspruchsvollere Sub-Benchmarks ausgeführt werden (z. B. Reasoning, Code-Generierung oder mehrsprachige Prompts), um belastbarere Aussagen über die tatsächliche Modellqualität unter realen Bedingungen zu gewinnen.

Übersicht

10 Samples
Verteilung
10
Score-Histogramm
0 – 0.1: 0 0.1 – 0.2: 0 0.2 – 0.3: 0 0.3 – 0.4: 0 0.4 – 0.5: 0 0.5 – 0.6: 0 0.6 – 0.7: 0 0.7 – 0.8: 0 0.8 – 0.9: 0 0.9 – 1: 10
0.0 ────── 1.0
Latenz (ms)
p50: 413 p95: 498 mean: 430
Tokens/s
p50: 5.6 mean: 6
TTFT (ms)
p50: 384 p95: 453
Status Score-Schwelle Score < 0.5
Frage-ID Status Score Prompt Latenz Tokens/s TTFT
sanity.0 passed 100% Was ist 2 plus 2? Antworte nur mit der Zahl, sonst nichts. 404 ms 5 378 ms
Lade Detail …
sanity.1 passed 100% Was ist die Hauptstadt von Deutschland? Antworte mit einem einzigen Wort. 412 ms 4.9 384 ms
Lade Detail …
sanity.2 passed 100% Schreibe das Wort Pizza in Großbuchstaben. 507 ms 7.9 454 ms
Lade Detail …
sanity.3 passed 100% Was ist die Hauptstadt von Frankreich? Antworte mit einem einzigen Wort. 412 ms 4.9 389 ms
Lade Detail …
sanity.4 passed 100% Was ist 5 mal 6? Antworte nur mit der Zahl. 414 ms 7.2 373 ms
Lade Detail …
sanity.5 passed 100% Schreibe das Wort Hund in Großbuchstaben. 487 ms 6.2 452 ms
Lade Detail …
sanity.6 passed 100% Wie viele Stunden hat ein Tag? Antworte nur mit der Zahl. 431 ms 7 397 ms
Lade Detail …
sanity.7 passed 100% Welche Farbe hat eine reife Tomate? Antworte mit einem einzigen Wort. 410 ms 4.9 384 ms
Lade Detail …
sanity.8 passed 100% Wie viele Beine hat eine Spinne? Antworte nur mit der Zahl. 405 ms 4.9 383 ms
Lade Detail …
sanity.9 passed 100% Wie heißt der größte Planet in unserem Sonnensystem? Antworte mit einem einzigen… 422 ms 7.1 381 ms
Lade Detail …