Look What the Probes Dragged In! Real-World Chest X-ray Shortcuts in MedCLIP
Di cosa parla
Gli autori esaminano come modelli che collegano immagini e testo usati sulle radiografie possano apprendere scorciatoie dai dati invece che segnali clinici veri. Inseriscono semplici classificatori nei diversi stadi interni della parte che elabora le immagini e li allenano su due raccolte di radiografie per vedere dove compaiono le scorciatoie: elementi localizzati come drenaggi emergono negli stadi finali, mentre difetti diffusi legati agli apparecchi di acquisizione si manifestano più in profondità. Un controllo manuale delle immagini rivela anche problemi di qualità nelle raccolte analizzate.
Cosa permette di osservare
Serve a capire in quali fasi interne del modello compaiono scorciatoie, che tipi di artefatti le provocano (localizzati o diffusi) e quanto la qualità dei dataset influenzi le conclusioni sulle prestazioni dei modelli.
Dalla fonte
Vision-language models, such as contrastive language-image pre-training (CLIP)-based approaches, have reached state-of-the-art (SOTA) results in medical artificial intelligence. However, recent work reveals that CLIP-based models remain vulnerable to shortcuts. We investigate how real-world shortcuts manifest across different layers of the medical CLIP-based model, MedCLIP, and its vision encoder, a frozen ResNet-50. We attach 17 linear classification probes to the intermediate layers of the ResNet-50 and train them on three different dataset configurations and targets: NIH-CXR14 (pneumothorax) and PadChest (cardiomegaly and pneumothorax). This setup allows us to observe model behaviour during evaluation using subgroup-based calibration and layer-wise confidence curves. We find that the final linear probes achieve a high AUROC but poor calibration in the models. The layer-wise confidenc…