HexEval: An Evidence-Driven Hexagonal Framework for Multidimensional Scholar Assessment
Di cosa parla
HexEval propone di valutare i ricercatori raccogliendo e organizzando prove verificabili, invece di dare un singolo punteggio opaco. La valutazione ha due livelli: uno guarda ai lavori anonimi per giudicare rigore, novità metodologica e contributo scientifico; l'altro osserva comportamenti pubblici e impatto accademico usando fonti pubbliche. Il sistema conserva le evidenze e le motivazioni per rendere la valutazione interpretabile e verificabile.
Cosa permette di osservare
Permette di esplorare come combinare prove sui lavori e sulle attività pubbliche per ottenere valutazioni più trasparenti e quali limiti emergono dai dati pubblici disponibili nel tracciare meriti e traiettorie di ricerca.
Dalla fonte
Scholar assessment plays a fundamental role in faculty recruitment, funding allocation, academic promotion, and talent discovery. Existing scholar assessment methods predominantly rely on bibliometric indicators and reputation proxies, while recent large language model (LLM)-based approaches mainly focus on evaluating individual research papers rather than comprehensively assessing scholars. We argue that scholar assessment should be formulated as an evidence-driven reasoning problem that jointly considers intrinsic research quality and externally verifiable scholarly behavior. To this end, we propose HexEval, an evidence-driven hexagonal framework for multidimensional scholar assessment. HexEval explicitly organizes scholar assessment into two complementary evidence layers. The intrinsic layer evaluates anonymized representative works along three dimensions, namely research rigor, meth…