Samples · lm_eval_harness.ifeval

Zusammenfassung

Der Sub-Benchmark IFEval konnte für das Modell qwen3.6-35b-a3b-tq3 nicht ausgewertet werden, da sämtliche 541 Anfragen mit Fehlern endeten und keine Pass-Rate berechnet werden konnte.

Stärken

• Keine messbaren Stärken ermittelbar, da keine erfolgreichen Auswertungen vorliegen.
• Die Prompts selbst sind korrekt strukturiert und wurden an das Modell übermittelt.

Schwächen

• 541 Fehler bei 0 erfolgreichen Auswertungen entspricht einer vollständigen Ausfallrate.
• Kein einziges Ergebnis konnte gescoret werden, was jede Aussage über Instruction-Following unmöglich macht.

Auffälligkeiten

Auffällig ist, dass alle Fehlereinträge `"error_message": null` aufweisen — das Modell lieferte also vermutlich Antworten, aber die Auswertungslogik schlug fehl oder Antworten wurden nie zurückgegeben. Die betroffenen Prompts decken ein breites Spektrum ab: Wortzahlvorgaben, Komma-Verbote, Markdown-Formatierung, Mehrsprachigkeit (Vietnamesisch) und strukturierte Ausgabeformate. Das Muster ist damit nicht prompt-spezifisch, sondern systemischer Natur. Wahrscheinlichste Ursache ist ein Integrationsfehler des Adapters (lm_eval_harness) oder ein Problem beim Parsen der Modellausgaben.

Empfehlung

Vor einer inhaltlichen Bewertung des Modells sollte die Adapter-Integration geprüft werden: Konkret sollte untersucht werden, ob lm_eval_harness die Modellausgaben korrekt empfängt und ob der Output-Parser mit dem Antwortformat von qwen3.6-35b-a3b-tq3 kompatibel ist. Ein manueller Test mit 5 repräsentativen Prompts außerhalb des Frameworks würde schnell klären, ob das Problem im Modell oder in der Infrastruktur liegt.