Samples · baseline.sanity

Run #64 · Adapter v1.0.0 · 10/10 Samples angezeigt · Score 100%
‹ Zurück zum Run-Detail

KI-Auswertung

Generiert 2026-05-12 02:18 · claude-sonnet-4-6

Zusammenfassung

Das Modell besteht den Sanity-Benchmark mit einer perfekten Pass-Rate von 100 % (10/10). Alle trivialen Fragen wurden korrekt und im geforderten Format beantwortet.

Stärken

  • Vollständige Instruction-Following-Kompetenz: Jede Formatvorgabe ("nur die Zahl", "ein einziges Wort") wurde exakt eingehalten.
  • Keinerlei Fehler oder Abstürze, der Endpoint ist stabil und betriebsbereit.

Schwächen

  • Keine Schwächen im Rahmen dieses Benchmarks identifizierbar.
  • Der Benchmark ist trivial gehalten und lässt keine Rückschlüsse auf komplexere Fähigkeiten zu.

Auffälligkeiten

Keine negativen Muster erkennbar. Sämtliche Antworten sind minimal und präzise, ohne unerwünschte Zusatztexte. Auffällig positiv ist, dass das Modell auch bei Großschreibungsaufgaben keine Erklärungen oder Kommentare hinzufügt.

Empfehlung

Den Sanity-Benchmark als bestanden abhaken und die Testtiefe erhöhen: Als nächsten Schritt sollten anspruchsvollere Sub-Benchmarks evaluiert werden, etwa Reasoning, längere Kontextverarbeitung oder Codegenerierung, um belastbare Aussagen über die tatsächliche Modellqualität zu gewinnen.

Übersicht

10 Samples
Verteilung
10
Score-Histogramm
0 – 0.1: 0 0.1 – 0.2: 0 0.2 – 0.3: 0 0.3 – 0.4: 0 0.4 – 0.5: 0 0.5 – 0.6: 0 0.6 – 0.7: 0 0.7 – 0.8: 0 0.8 – 0.9: 0 0.9 – 1: 10
0.0 ────── 1.0
Latenz (ms)
p50: 584 p95: 642 mean: 587
Tokens/s
p50: 4.3 mean: 4.4
TTFT (ms)
p50: 545 p95: 597
Status Score-Schwelle Score < 0.5
Frage-ID Status Score Prompt Latenz Tokens/s TTFT
sanity.0 passed 100% Was ist 2 plus 2? Antworte nur mit der Zahl, sonst nichts. 619 ms 3.2 593 ms
Lade Detail …
sanity.1 passed 100% Was ist die Hauptstadt von Deutschland? Antworte mit einem einzigen Wort. 633 ms 3.2 558 ms
Lade Detail …
sanity.2 passed 100% Schreibe das Wort Pizza in Großbuchstaben. 609 ms 6.6 546 ms
Lade Detail …
sanity.3 passed 100% Was ist die Hauptstadt von Frankreich? Antworte mit einem einzigen Wort. 586 ms 3.4 553 ms
Lade Detail …
sanity.4 passed 100% Was ist 5 mal 6? Antworte nur mit der Zahl. 650 ms 4.6 600 ms
Lade Detail …
sanity.5 passed 100% Schreibe das Wort Hund in Großbuchstaben. 581 ms 5.2 538 ms
Lade Detail …
sanity.6 passed 100% Wie viele Stunden hat ein Tag? Antworte nur mit der Zahl. 564 ms 5.3 495 ms
Lade Detail …
sanity.7 passed 100% Welche Farbe hat eine reife Tomate? Antworte mit einem einzigen Wort. 575 ms 3.5 543 ms
Lade Detail …
sanity.8 passed 100% Wie viele Beine hat eine Spinne? Antworte nur mit der Zahl. 496 ms 4 472 ms
Lade Detail …
sanity.9 passed 100% Wie heißt der größte Planet in unserem Sonnensystem? Antworte mit einem einzigen… 558 ms 5.4 541 ms
Lade Detail …