Benchmarking Trustworthiness of SLMs: Pre-trained vs. Compressed
Di cosa parla
Si confrontano due strade per ottenere modelli linguistici piccoli: crearli da zero o ridurre modelli grandi già addestrati. Gli autori valutano l’affidabilità su equità, robustezza, privacy ed etica e trovano che alcune tecniche di riduzione preservano meglio l’affidabilità; in particolare, ridurre un modello grande e già affidabile genera spesso versioni più affidabili e adattabili rispetto ai modelli piccoli addestrati da zero, e trasferire conoscenza dal modello grande può migliorare ulteriormente l’affidabilità.
Cosa permette di osservare
Permette di esplorare quale strategia conviene per avere modelli piccoli più affidabili: partire da un grande modello e ridurlo o addestrare un piccolo da zero, e come le diverse modalità di riduzione influenzano equità, privacy, robustezza ed etica.
Dalla fonte
Small Language Models (SLMs) have emerged as a more efficient alternative to traditional Large Language Models (LLMs), offering promising potential in resource-constrained scenarios. Existing approaches to building SLMs typically follow two paths: training compact models from scratch, or compressing larger pre-trained models using methods such as pruning, quantization, or distillation. As language models become increasingly integrated into real-world applications, ensuring their trustworthiness has become a critical concern. However, how to build trustworthy SLMs remains an underexplored question. In this work, we present a comprehensive evaluation of SLM trustworthiness across multiple dimensions, including fairness, robustness, privacy, and ethics. We first examine the effects of pruning and quantization, and find that quantization is significantly more effective in preserving trustwo…