Samples · lm_eval_harness.humaneval

Zusammenfassung

Das Modell `mlx-community/Qwen3-Coder-Next` erzielt auf dem HumanEval-Benchmark eine Pass-Rate von 0 % — keine einzige der 164 Aufgaben wird korrekt gelöst. Es treten dabei keinerlei Laufzeitfehler auf, was auf ein systematisches Ausgabeformat-Problem hindeutet.

Stärken

• Das Modell versteht die Aufgaben inhaltlich: Die Antworten enthalten korrekte Erklärungen, Lösungsansätze und Algorithmen.
• Keine Errors (0 Crashes), das Modell generiert konsistent Ausgaben.

Schwächen

• Jede Antwort endet mit einem unvollständigen Code-Block: Das Modell schreibt den Funktionskopf in den Prompt-Kontext und bricht dann genau dort ab, wo der eigentliche Funktionskörper beginnen müsste.
• Die Stop-Sequenzen (`\ndef`, `\nclass`, etc.) schneiden den generierten Code offensichtlich ab, bevor die Implementierung ausgegeben wird.

Auffälligkeiten

Alle 164 Failures zeigen dasselbe Muster: Das Modell produziert einen einleitenden Erklärungstext auf Englisch, öffnet einen Markdown-Codeblock mit ` ```python `, gibt dann den Import und ggf. den Funktionskopf aus — und dort greift die Stop-Sequenz `\ndef` und beendet die Generierung vorzeitig. Der eigentliche Funktionskörper wird nie ausgegeben. Dies ist kein Kompetenzproblem, sondern ein reines Konfigurationsproblem.

Empfehlung

Die Stop-Sequenz `\ndef` muss aus dem Harness-Konfiguration entfernt oder durch eine spezifischere Sequenz (z. B. `\n\ndef ` mit zwei Zeilenumbrüchen) ersetzt werden, da das Modell intern mit einem Reasoning/Thinking-Block oder Markdown-Codeblöcken arbeitet, in denen `def` legitim vorkommt. Alternativ sollte ein Chat-Template-Wrapper eingesetzt werden, der den Code nach dem schließenden ` ``` ` extrahiert.