Samples · baseline.throughput

Zusammenfassung

Der Throughput-Benchmark wurde mit einer Pass-Rate von 100 % (6/6) ohne Fehler abgeschlossen. Der erzielte Score von ca. 0,50 Tokens/sec-Normwert liegt im mittleren Bereich und gibt Anlass zur weiteren Betrachtung der absoluten Geschwindigkeit.

Stärken

• Vollständige Fehlerfreiheit: keine Errors, keine Failures bei allen sechs Prompts
• Korrekte und inhaltlich solide Antworten über alle Schwierigkeitsstufen hinweg (kurz, mittel, lang)
• Konsistente Antwortqualität unabhängig vom Prompt-Typ (Faktenfrage, Erklärung, technischer Vergleich)

Schwächen

• Score von 0,504 deutet auf moderate Inferenzgeschwindigkeit hin; das Modell schöpft den möglichen Durchsatz offenbar nicht voll aus
• Der lange Prompt (Quicksort-Pseudocode) zeigt eine abgeschnittene Antwort, was auf ein Truncation-Problem beim Streaming hinweisen könnte

Auffälligkeiten

Die Quicksort-Antwort endet mitten im Satz („– hier verwende ich die …") ohne abschließende Partition-Implementierung. Dies ist das einzige erkennbare Muster: bei längerem Output scheint der Stream vorzeitig zu enden, was entweder auf ein Token-Limit oder einen Streaming-Buffer-Fehler hindeutet. Kurze Prompts liefern vollständige Antworten ohne Auffälligkeiten.

Empfehlung

Den maximalen Output-Token-Grenzwert für lange Prompts erhöhen und prüfen, ob das Streaming-Buffer-Handling bei Antworten über einer bestimmten Länge korrekt konfiguriert ist. Anschließend den Throughput-Sub-Benchmark mit dem langen Prompt erneut ausführen, um festzustellen, ob Truncation die gemessenen Tokens/sec-Werte systematisch verzerrt.