Fingerprinting Text-to-Image Diffusion Models via Collapsed Generation
Di cosa parla
Partono dall’osservazione che, in certe condizioni di input, alcuni modelli che trasformano testo in immagini producono immagini molto simili nonostante variazioni casuali nel processo. Questo comportamento, chiamato “collapsed generation”, è peculiare del modello e può funzionare come impronta per dimostrarne la paternità senza inserire watermark invasivi. La tecnica è stata testata sia con pieno accesso interno al modello sia solo tramite un servizio online.
Cosa permette di osservare
Permette di esplorare se esistono firme intrinseche nei modelli che consentano di verificare la proprietà del modello e se tali firme restano riconoscibili dopo copie, riaddestramenti o tentativi di nascondere l’origine, anche con accesso limitato tramite servizio online.
Dalla fonte
Proprietary text-to-image diffusion models are increasingly distributed as hosted services and downloadable checkpoints, making their intellectual property (IP) protection an increasingly critical concern when model leakage, copying, or unauthorized fine-tuning is disputed. In this work, we present a non-invasive model fingerprinting framework based on \emph{collapsed generation}, a phenomenon where certain input conditions produce highly consistent images across multiple stochastic seeds. We show that collapsed generation is an intrinsic, model-dependent property of the learned generation process. These collapse-prone conditions therefore expose model-specific behavioral signatures, enabling reliable ownership verification without embedding invasive watermarks. After preparing conditions on the source model, the framework verifies a suspect model under two access settings: (1) white-bo…