The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark
Di cosa parla
Hanno messo a punto un nuovo test per verificare quanto bene agenti di intelligenza artificiale riescono a capire programmi disponibili solo come file eseguibili, cioè senza il codice sorgente: il reverse engineering, ovvero ricostruire come funziona un programma partendo dal binario. Il problema è che molti modelli possono barare riconoscendo programmi già presenti nei loro dati di addestramento, quindi il test è stato costruito da zero con software reali e con contromisure che rendono l’analisi più difficile.
Cosa permette di osservare
Permette di esplorare se le abilità che i modelli mostrano sul codice sorgente si trasferiscono all’analisi dei file eseguibili, come gli agenti differiscono dagli ingegneri umani e quanto conta usare materiale nuovo e di scala realistica per valutare i progressi.
Dalla fonte
AI agents are rapidly improving in cybersecurity capabilities when the source code is available for analysis, yet much of the software most consequential to cybersecurity, including malware, firmware, and proprietary applications, is available only as binaries. Analyzing such software requires reverse engineering(RE): recovering program semantics before the analysis can be meaningfully performed. However, evaluating agentic RE poses a fundamental challenge: benchmark instances must be unseen as source code in the LLMs' training data to prevent models from taking shortcuts by recognizing them rather than really analyzing them, while also matching the scale and anti-analysis protections of real software. Unfortunately, however, existing benchmarks do not jointly satisfy these requirements. To this end, we introduce SRE-Bench, the first realistic, contamination-free RE benchmark. Built ent…