Samples · baseline.throughput

Zusammenfassung

Der Throughput-Benchmark wurde mit einer Pass-Rate von 100 % (6/6) ohne Fehler abgeschlossen. Der normalisierte Score von 0,491 deutet auf eine moderate Inferenzgeschwindigkeit hin, die noch Luft nach oben lässt.

Stärken

• Vollständige Fehlerfreiheit: Kein einziger Error oder Failure über alle Prompt-Typen hinweg
• Korrekte und qualitativ hochwertige Antworten über alle Schwierigkeitsstufen (kurz bis lang), was auf stabile Modellausgaben hindeutet

Schwächen

• Score von ~0,49 bedeutet, dass das Modell nur etwa die Hälfte der Referenz-Tokens/sec erreicht — für produktive Last möglicherweise zu langsam
• Bei komplexeren Prompts (Quicksort-Pseudocode) wirken die Antworten abgeschnitten, was auf Token-Limits oder Puffer-Engpässe beim Streaming hinweisen könnte

Auffälligkeiten

Die Quicksort-Antwort endet mitten im Algorithmus (`// 2. Bewege j ...`), ohne den Partitionierungsalgorithmus zu vervollständigen. Dies tritt ausgerechnet beim längsten Prompt auf und könnte ein systematisches Problem bei langen Outputs im Streaming-Modus sein — nicht nur ein inhaltliches, sondern potenziell ein technisches Truncation-Problem.

Empfehlung

Den langen Prompt (Quicksort) gezielt mit erhöhtem `max_tokens`-Limit wiederholen, um zu prüfen, ob das Truncating ein Konfigurationsproblem ist. Parallel sollte geprüft werden, ob ein Wechsel zu einer höher quantisierten MLX-Variante (z. B. 4-bit statt 8-bit) den Throughput-Score deutlich über 0,6 anhebt, ohne Qualitätsverluste einzuführen.