Samples · baseline.cold_start

Zusammenfassung

Der Cold-Start-TTFT-Benchmark wurde mit einer Pass-Rate von 100 % bestanden. Bei einem einzigen Testfall antwortete das Modell korrekt und ohne Fehler.

Stärken

• Perfekte Pass-Rate (1/1) ohne Fehler oder Failures
• Modell liefert exakt die geforderte Ausgabe ohne Zusatztext oder Formatierungsabweichungen

Schwächen

• Stichprobengröße von n=1 erlaubt keine statistisch belastbaren Aussagen
• Nur ein triviales Prompt getestet; komplexere Cold-Start-Szenarien bleiben unbewertet

Auffälligkeiten

Keine Muster erkennbar, da lediglich ein einziger Erfolgsfall vorliegt. Der Test prüft ausschließlich, ob überhaupt ein erster Token generiert wird, nicht die tatsächliche Latenz in Millisekunden — ein numerischer TTFT-Wert fehlt in den Metriken vollständig.

Empfehlung

Den Benchmark um mindestens 10–20 Durchläufe mit variierenden Prompt-Längen erweitern und die tatsächliche TTFT-Latenz in Millisekunden als Metrik erfassen, um aussagekräftige Aussagen über das Cold-Start-Verhalten von `mlx-community/Qwen3-Coder-Next` treffen zu können.