AITOP

基准数据集

共 5 条相关 AI 资讯
7月9日
09:53
09:53官方账号arXiv cs.LG@Hyunjae Kim, Dain Kim, Pan Xiao, Serina S. Applebaum, Younjoon Chung, Xuguang Ai, Yu Yin, Roy Jiang, Yuexi Du, Yawen Wei, Yiming Kong, Tuo Guo, Zhiyuan Cao, Mengmeng Du, Yuelei Fu, Yan Hu, Rui Shi, Gui Yang, Kevin W. Jin, Yuntian Liu, Yuxuan Tian, Jonathan Marquez, Zhen Chen, Sheng Zhang, Hoifung Poon, Hua Xu, Jaewoo Kang, Qingyu Chen
精选
MedPMC从610万篇PMC文章中自动筛选出1100万医学图像-文本对。人工评估中，95.3%的图像具有医学相关性，而此前数据集仅19.7%。在26项基准测试中，基于MedPMC训练的CLIP-style模型零样本AUC平均提升7.1个百分点。作为MLLM的视觉编码器，其医学VQA准确率提升1.9和16.9个百分点。在1万张真实临床照片中，形态到图像检索Recall@5提升11.7个百分点。
AI模型MedPMCPubMed Central医学多模态图像-文本对基准数据集
推荐理由：想训练医学多模态模型但缺高质量数据？MedPMC从610万篇论文里筛出1100万对数据，效果比现有数据集好5倍。
原文
6月10日
10:52
10:52官方账号arXiv cs.LG@Abhijoy Sarkar, Aarchi Singh Thakur
精选
OncoTraj 是一个针对EGFR突变非小细胞肺癌（NSCLC）患者接受一线奥希替尼治疗后耐药预测的公开基准数据集，整合了来自MSK-CHORD、AACR Project GENIE BPC NSCLC和FLAURA研究的813例患者数据。该基准定义了三个任务：12个月进展二分类、进展时间回归和耐药机制六分类。当前v1版本仅使用单时间点组织NGS特征，所有模型（包括LSTM和多任务Transformer）在干净评估中均未超越随机水平，表明瓶颈在于输入模态而非算法。基准确认了TP53共突变与12个月进展率从29%升至59%的关联。OncoTraj为纵向耐药预测提供了可复现的基线，并明确了v2版本需引入连续ctDNA数据的设计方向。
论文基准数据集耐药预测EGFR突变非小细胞肺癌奥希替尼
推荐理由：肿瘤基因组学研究者终于有了可复现的耐药预测基准——OncoTraj 直接点出当前单点NGS的模态瓶颈，做纵向建模或液体活检分析的团队值得关注，v2 的 ctDNA 设计方向会直接影响你的实验方案。
原文
6月2日
09:42
09:42官方账号arXiv cs.AI@Bingyu Li, Da Zhang, Tao Huo, Zhiyuan Zhao, Junyu Gao, Xuelong Li
精选
多时序指代分割（MTRS）是一项新任务，要求模型从多时序图像中分割出语言描述的时间变化。研究团队提出了CRAFT-Agent自动化数据构建流程，并构建了首个基准MTRefSeg-21K，包含2.1万高质量三元组。现有视觉语言模型在该任务上表现不佳，为此团队提出了MTRefSeg-R1框架，采用两阶段训练策略，先学习通用时序变化感知，再微调实现细粒度语言引导定位。实验表明，MTRefSeg-R1显著优于现有基线，揭示了多时序视觉推理的挑战与潜力。
论文多时序推理指代分割视觉语言模型基准数据集变化检测
推荐理由：做多模态视觉推理或时序变化检测的团队，这个新基准和基线模型值得关注——它填补了LVLM在时序推理上的空白，可以直接用来评估和提升模型能力。
原文
5月30日
01:21
5月15日
10:12
10:12官方一手arXiv: OpenAI@Tianwei Chen, Takuya Furusawa, Yuki Hirakawa, Ryotaro Shimizu, Mo Fan, Takashi Wada
精选
本文提出 MultiEmo-Bench，一个多标签视觉情感分析基准数据集，用于全面评估多模态大模型（MLLMs）预测图像引发情感的能力。现有数据集采用单候选情感标注方案，忽略了单张图像可能引发多种不同强度情感的事实，导致低估 MLLMs 能力。新数据集为每张图像雇佣 20 名标注者，收集所有被激发的情感，最终包含 10,344 张图像和 236,998 条有效投票，覆盖八种情感。评估了 Qwen3-VL、GPT、Gemini 和 Claude 等模型，结果表明当前 MLLMs 虽有进步，但仍有很大提升空间。实验还发现，LLM-as-a-judge 方法在视觉情感分析这一主观任务上效果不稳定。
论文多模态大模型视觉情感分析基准数据集多标签标注Qwen3-VL
推荐理由：做多模态情感分析或评估 MLLMs 情感能力的团队，终于有了一个更可靠的多标签基准——MultiEmo-Bench 解决了现有数据集低估模型的问题，值得直接用于模型评测。
原文