Open eval leaderboard + CI gate for autonomous coding agents (solve, score, trace).
An open, always-on leaderboard and CI gate for autonomous coding agents — every patch runs in a sandbox, every run has a public trace, every regression fails the build. ▶ Live leaderboard: forgejudge.ahmedhobeishy.tech · playground · methodology · model swap · MCP registry Current numbers (hidden-test = the agent never sees the failing test; $0 free tier; same harness, swap the model; 18 tasks ×…
Abgeleitet aus den Transporten, die dieser Eintrag deklariert (stdio). Ein Client, der hier nicht steht, ist damit nicht ausgeschlossen — Forge kann ihn nur nicht bestätigen.
Die Verifizierung bestätigt die Identität des Publishers (die Inhaberschaft am Repo), nicht die Sicherheit des Codes. Der Sicherheits-Scan deckt bekannte CVEs und verdächtige Installationsskripte ab.
Forge hat 2 Quelldateien aus das Tarball des veröffentlichten Pakets gelesen und keine MCP-Tool-Registrierung gefunden. Die Extraktion arbeitet musterbasiert über den ausgelieferten Quellcode: ein Server, der seine Tool-Liste zur Laufzeit aufbaut oder nur gebündelten beziehungsweise minifizierten Code ausliefert, registriert nichts, was hier sichtbar wäre. Lies es als „nicht erkannt“, nicht als „legt keine offen“.
An open, always-on leaderboard and CI gate for autonomous coding agents — every patch runs in a sandbox, every run has a public trace, every regression fails the build. ▶ Live leaderboard: forgejudge.ahmedhobeishy.tech · playground · methodology · model swap · MCP registry Current numbers (hidden-test = the agent never sees the failing test; $0 free tier; same harness, swap the model; 18 tasks × 3 seeds = 54 runs/model, 162 total): | Model | pass@1 | pass@3 | The score rises with the better…
Forges Resolver liest ausschließlich npm-Metadaten, daher hat dieses PyPI-Paket keinen aufgelösten Baum. Das ist eine Lücke in der Abdeckung, kein Unbedenklichkeitsnachweis.