Samples · lm_eval_harness.ifeval

Zusammenfassung

Das Modell erreicht eine Pass-Rate von 80,2 % im IFEval-Benchmark, was auf solide, aber nicht fehlerfreie Befolgung strikter Formatanweisungen hindeutet. Bei rund einem Fünftel der Aufgaben scheitert es an präzisen Format- oder Inhaltsvorgaben.

Stärken

• Komplexe Mehrfachanweisungen (z. B. Abschnittstitel mit `SECTION X`, doppelte eckige Klammern, Wiederholung des Prompts) werden zuverlässig umgesetzt.
• Sprachliche Constraints wie Kommaverbot oder reine Kleinschreibung werden in vielen Fällen korrekt eingehalten.
• Keine technischen Errors (0 von 541 Anfragen).

Schwächen

• Exakte Zählvorgaben werden nicht eingehalten: Bei Bullet-Point-Aufgaben liefert das Modell 6 statt 3 Punkte; Pflichtwiederholungen enthalten unerlaubte Zusatzzeichen.
• Strenges Zeichenausschlussverbot (z. B. kein „t" im gesamten Text, kein „c") wird konsequent verletzt — das Modell hält solche Low-Level-Constraints nicht durchgängig ein.
• Formatvorgaben wie „genau zwei Antworten, getrennt durch `**`" werden ignoriert (nur eine Antwort ohne Trennzeichen).
• Längenvorgaben (mind. 800 Wörter, in doppelte Anführungszeichen gewickelt) werden teils nur unvollständig oder abgeschnitten erfüllt.

Auffälligkeiten

Die Failures konzentrieren sich auf zwei Mustertypen: (1) Zeichenebene-Constraints (verbotene Buchstaben, exakte Sondersymbol-Wiederholungen) und (2) exakte Mengenvorgaben (Bullet-Anzahl, Antwort-Anzahl). Komplexere semantische Anweisungen gelingen besser als niedrigschwellige, mechanische Formatregeln.

Empfehlung

Gezielte Feinabstimmung oder Chain-of-Thought-Prompting speziell für Zähl- und Zeichenebene-Constraints einsetzen; alternativ einen systematischen Constraint-Verifier als Post-Processing-Schicht ergänzen und den IFEval-Subset mit Zeichenausschluss-Aufgaben gesondert evaluieren.