Samples · swe_bench.swe_bench_lite

Zusammenfassung

Der Benchmark liefert kein verwertbares Ergebnis: Alle 10 Samples enden als Fehler, es gibt weder Successes noch Failures, und eine Pass-Rate kann nicht berechnet werden. Das Modell hat de facto keinen einzigen Patch erfolgreich eingereicht.

Stärken

• Keine erkennbaren inhaltlichen Fehler (keine Failures mit falschem Code), da die Pipeline bereits vorher abbricht.
• Ein Idle-Timeout deutet auf prinzipielle Erreichbarkeit des Endpunkts hin — der Inference-Server läuft grundsätzlich.

Schwächen

• Dominanter Fehlertyp `patch_invalid_hash` (9 von 10) deutet darauf hin, dass die erzeugten Patches fehlerhafte oder fehlende Kontext-Hashes enthalten und nicht auf den Ziel-Commit angewendet werden können.
• Ein `patch_apply_failed` zeigt zusätzlich Probleme beim Patch-Format selbst.
• Ein Idle-Timeout signalisiert, dass das Modell bei mindestens einem Sample die Antwort nicht innerhalb der erlaubten Zeit liefert — möglicherweise ein Ressourcen- oder Quantisierungsproblem.

Auffälligkeiten

Nahezu alle Fehler sind `patch_invalid_hash`. Das ist ein klares Muster: Das Modell generiert Patches, deren Diff-Header (Zeilennummern oder Kontext-Zeilen) nicht mit dem tatsächlichen Repository-Zustand übereinstimmen. Dies ist typisch für Modelle, die Patches ohne Zugriff auf den exakten Dateiinhalt halluzinieren.

Empfehlung

Primär das Patching-Pipeline-Setup prüfen: Sicherstellen, dass dem Modell der korrekte Dateiinhalt des Ziel-Commits als Kontext übergeben wird, damit es valide unified-diff-Hashes erzeugen kann. Zusätzlich die Inference-Timeout-Konfiguration erhöhen oder die Quantisierungsstufe reduzieren, um den Idle-Timeout zu beheben.