10:24arXiv cs.LG@Dylan Steiner, Gustavo Arango-Argoty, Gerald Sun, Etai Jacob多模态肿瘤模型能做出准确预测,但无法判断其是否学到跨模态共享的生物学、单一模态的生物学,还是虚假相关性。研究者提出DECAT,一个模型无关的后验评估框架,通过五个零假设参考指标和规则决策,将多模态表征分为四种诊断场景。在合成数据(2500+训练表征)和真实TCGA数据(8979名患者)上验证,发现CLIP等纠缠模型在检测共享生物学上近乎完美,但在大多数不存在共享生物学的情况下错误声称存在,且错误率随混杂强度增加。DECAT无需知道具体混杂因素,就能检测出AUROC无法发现的混杂。论文多模态医学AI评估框架混杂检测DECAT推荐理由:做多模态医学AI的团队终于有了判断模型是否学到真实生物学的工具——DECAT能揪出被AUROC掩盖的虚假关联,建议做肿瘤多模态研究的开发者点开看看。原文