Samples · baseline.throughput

Zusammenfassung

Der Throughput-Benchmark wurde mit einer Pass-Rate von 100 % (6/6) ohne Fehler abgeschlossen. Der erzielte Score von 0,436 deutet jedoch auf eine moderate Token-Generierungsgeschwindigkeit hin, die je nach Referenzwert als mittelmäßig einzustufen ist.

Stärken

• Vollständige Fehlerfreiheit: Null Errors, Null Failures über alle sechs Prompts
• Korrekte und inhaltlich konsistente Antworten über alle Schwierigkeitsstufen (kurz, mittel, lang)

Schwächen

• Score von 0,436 signalisiert, dass die Tokens/sec-Rate unter einem höheren Referenzwert liegt — das Modell ist nicht besonders schnell
• Bei längeren Antworten (z. B. Quicksort-Pseudocode) wurde die Ausgabe mid-Response abgeschnitten, was auf ein Token-Limit oder Buffer-Problem hinweisen könnte

Auffälligkeiten

Die Quicksort-Antwort endet mitten im Code-Block (`FUNCTION` ohne Body), was auf ein Hard-Cutoff beim Streaming hinweist. Alle anderen Antworten sind vollständig. Dieses Muster tritt ausschließlich beim längsten und komplexesten Prompt auf — ein Hinweis auf ein Output-Token-Limit-Problem bei langen Generierungen unter Streaming-Last.

Empfehlung

Den maximalen Output-Token-Grenzwert für das Modell erhöhen oder prüfen, ob der Streaming-Buffer bei langen Antworten vorzeitig geschlossen wird. Zusätzlich sollte der Score-Referenzwert (Tokens/sec-Ziel) dokumentiert werden, um einzuschätzen, ob ein Quantisierungswechsel (z. B. von 4-bit auf 8-bit oder umgekehrt) die Durchsatzrate verbessern kann.