Samples · lm_eval_harness.gsm8k

Zusammenfassung

Das Modell `mlx-community/Qwen3-Coder-Next` erreicht auf GSM8K eine Pass-Rate von 87,6 % bei 2638 bewerteten Aufgaben und zeigt damit solide, aber nicht fehlerfreie Leistung bei mehrstufigen Grundschul-Rechenaufgaben.

Stärken

• Korrekte Lösungen bei einfachen bis mittelkomplexen mehrstufigen Aufgaben (Prozentrechnung, Einheitenumrechnung, lineare Gleichungen)
• Strukturierte Schritt-für-Schritt-Darstellung mit klaren Zwischenergebnissen
• Keine Fehler (0 Errors), das Modell gibt stets eine Antwort

Schwächen

• Fehler bei Aufgaben mit rückwärts gerichteter Logik (Reverse-Engineering von Startwerten, z. B. Staubsauger-Aufgabe)
• Fehler bei Ambiguität in Prozentangaben: Das Modell interpretiert „Zeitverbesserung durch 10 % mehr Geschwindigkeit" als inverse Beziehung statt direkter Reduktion
• Fehler bei off-by-one-Problemen in Jahresberechnungen (Gene-Quilt-Aufgabe: 12 statt 11 Jahre)
• Teilweise abgeschnittene Antworten (Response endet mitten im Satz/Rechnung), was auf Token-Limit-Probleme hindeuten kann

Auffälligkeiten

Wiederkehrendes Muster: Das Modell rechnet korrekt, zieht aber falsche Schlüsse am Ende — insbesondere bei Aufgaben, die implizite Konventionen voraussetzen (z. B. „Wert steigt um X %" bezogen auf Kaufpreis vs. Reparaturkosten). Zudem treten Abbrüche in den Responses auf, was auf ein zu niedrig gesetztes `max_tokens`-Limit hindeutet.

Empfehlung

`max_new_tokens` erhöhen, um abgeschnittene Antworten zu vermeiden, und anschließend den Sub-Benchmark für Aufgaben mit Prozentrechnung und Rückwärtslogik gezielt re-evaluieren, um zu prüfen, ob die Fehlerrate dort überproportional hoch ist.