Samples · baseline.sanity

Run #52 · Adapter v1.0.0 · 3/3 Samples angezeigt · Score 100%
‹ Zurück zum Run-Detail

KI-Auswertung

Generiert 2026-05-11 15:56 · claude-sonnet-4-6

Zusammenfassung

Der Sanity-Benchmark wurde mit einer Pass-Rate von 100 % (3/3) fehlerfrei bestanden. Das Modell llama3.2-vision:latest antwortet auf triviale Fragen korrekt und instruktionskonform.

Stärken

  • Perfekte Trefferquote ohne Fehler oder Aussetzer
  • Strikte Einhaltung der Formatvorgaben (nur Zahl, nur ein Wort, nur Großbuchstaben)
  • Keine technischen Fehler oder leere Antworten

Schwächen

  • Keine Schwächen auf diesem Niveau erkennbar; der Test ist jedoch zu einfach, um Modellgrenzen aufzuzeigen

Auffälligkeiten

Keine negativen Muster erkennbar. Alle drei Antworten sind minimal und exakt, was auf gute Instruction-Following-Fähigkeiten bei kurzen, klaren Prompts hinweist.

Empfehlung

Den Sanity-Benchmark als bestanden abhaken und die Testtiefe erhöhen: Komplexere Sub-Benchmarks (z. B. mehrschrittige Reasoning-Aufgaben, lange Kontexte oder mehrsprachige Prompts) sollten als nächstes evaluiert werden, um tatsächliche Schwachstellen des Modells zu identifizieren.

Übersicht

3 Samples
Verteilung
3
Score-Histogramm
0 – 0.1: 0 0.1 – 0.2: 0 0.2 – 0.3: 0 0.3 – 0.4: 0 0.4 – 0.5: 0 0.5 – 0.6: 0 0.6 – 0.7: 0 0.7 – 0.8: 0 0.8 – 0.9: 0 0.9 – 1: 3
0.0 ────── 1.0
Latenz (ms)
p50: 115 p95: 131 mean: 121
Tokens/s
p50: 17.5 mean: 21.7
Status Score-Schwelle Score < 0.5
Frage-ID Status Score Prompt Latenz Tokens/s TTFT
sanity.0 passed 100% Was ist 2 plus 2? Antworte nur mit der Zahl, sonst nichts. 115 ms 17.4 —
Lade Detail …
sanity.1 passed 100% Was ist die Hauptstadt von Deutschland? Antworte mit einem einzigen Wort. 114 ms 17.5 —
Lade Detail …
sanity.2 passed 100% Schreibe das Wort Pizza in Großbuchstaben. 133 ms 30.1 —
Lade Detail …