Samples · baseline.cold_start

Zusammenfassung

Der Cold-Start-TTFT-Benchmark wurde mit einer Pass-Rate von 100 % bestanden. Das Modell lieferte beim ersten Stream-Token korrekt und fehlerfrei eine Antwort.

Stärken

• Vollständige Fehlerfreiheit: keine Errors, keine Failures
• Korrekte Instruktionsbefolgung beim minimalen Prompt ("Antworte nur mit OK" → "OK")

Schwächen

• Stichprobengröße von n=1 erlaubt keine statistisch belastbare Aussage zur TTFT-Stabilität
• Kein tatsächlicher Latenzwert (Millisekunden) in den Metriken dokumentiert, nur binäres Pass/Fail

Auffälligkeiten

Keine Muster in Failures erkennbar, da ausschließlich ein Success vorliegt. Der Test deckt lediglich den einfachsten möglichen Fall ab (einsilbige Antwort auf minimalen Prompt), was komplexere Cold-Start-Szenarien mit längeren Prompts oder Token-intensiven Antworten unberücksichtigt lässt.

Empfehlung

Den Benchmark um mindestens 5–10 Wiederholungen mit variierenden Prompt-Längen und -Komplexitäten erweitern sowie tatsächliche TTFT-Messwerte in Millisekunden erfassen, um Ausreißer und Jitter im Cold-Start-Verhalten des Modells `mlx-community/Qwen3-Coder-Next` zuverlässig beurteilen zu können.