Samples · baseline.sanity

Zusammenfassung

Der Sanity-Benchmark wurde mit einer Pass-Rate von 100 % (3/3) fehlerfrei bestanden. Das Modell liefert auf triviale Fragen korrekte, formatgetreue Antworten.

Stärken

• Vollständige Trefferquote ohne Fehler oder Abweichungen
• Strikte Einhaltung der Formatvorgaben (nur Zahl, nur ein Wort, nur Großbuchstaben)
• Keine Inference-Fehler oder Timeouts aufgetreten

Schwächen

• Keine Schwächen identifizierbar auf diesem Niveau — der Test ist bewusst trivial gehalten
• Aussagekraft beschränkt sich auf grundlegende Funktionsfähigkeit des Endpoints

Auffälligkeiten

Keine Muster in Failures erkennbar, da ausnahmslos alle Antworten korrekt waren. Die Antworten sind minimal und exakt, es gibt keine Tendenz zu unnötigen Zusätzen oder Erklärungen — was bei Substring-Checks positiv ist.

Empfehlung

Den Sanity-Benchmark als bestanden abhaken und die Testtiefe erhöhen: komplexere Sub-Benchmarks mit mehrschrittiger Reasoning-Anforderung, längeren Kontexten oder nicht-trivialen Formatvorgaben ausführen, um belastbare Aussagen über die tatsächliche Modellqualität des gpt-oss:20b zu gewinnen.