Open eval leaderboard + CI gate for autonomous coding agents (solve, score, trace).
An open, always-on leaderboard and CI gate for autonomous coding agents — every patch runs in a sandbox, every run has a public trace, every regression fails the build. ▶ Live leaderboard: forgejudge.ahmedhobeishy.tech · playground · methodology · model swap · MCP registry Current numbers (hidden-test = the agent never sees the failing test; $0 free tier; same harness, swap the model; 18 tasks ×…
Dedotto dai trasporti dichiarati da questo annuncio (stdio). Un client che non compare qui non è escluso — semplicemente Forge non è in grado di confermarlo.
La verifica conferma l’identità del publisher (la proprietà del repo), non la sicurezza del codice. L’analisi di sicurezza copre i CVE noti e gli script di installazione sospetti.
Forge ha letto 2 file sorgente da il tarball del pacchetto pubblicato e non ha trovato alcuna registrazione di strumenti MCP. L’estrazione si basa su schemi applicati al codice distribuito: un server che costruisce l’elenco degli strumenti a runtime, o che distribuisce solo codice impacchettato o minificato, non registra nulla di visibile qui. Va letto come «non rilevato», non come «non ne espone nessuno».
An open, always-on leaderboard and CI gate for autonomous coding agents — every patch runs in a sandbox, every run has a public trace, every regression fails the build. ▶ Live leaderboard: forgejudge.ahmedhobeishy.tech · playground · methodology · model swap · MCP registry Current numbers (hidden-test = the agent never sees the failing test; $0 free tier; same harness, swap the model; 18 tasks × 3 seeds = 54 runs/model, 162 total): | Model | pass@1 | pass@3 | The score rises with the better…
Il resolver di Forge legge solo metadati npm, quindi questo pacchetto PyPI non ha un albero risolto. È una lacuna di copertura, non un certificato di buona salute.