AITOP

基准数据集

共 7 条相关 AI 资讯
7月22日
12:05
12:05官方账号arXiv cs.LG@Lance Kennedy, Hossein Amiri, Yueyang Liu, Riyang Bao, Hanqi Chen, Mohammad Hashemi, Ruochen Kong, Xiaotong Liu, Joon-Seok Kim, Shengpu Tang, Liang Zhao, Andreas Züfle
该论文引入了16个大规模模拟数据集，每个数据集包含数千个智能体的轨迹及带注释的驻留点，并涵盖不同的轨迹噪声水平。作者评估了9种驻留点检测算法，包括现有最优方法和新提出的方法。结果显示，现有算法在真实噪声条件下表现较差，而提出的无监督方法有显著改进，监督方法则大幅超越现有基线。该论文指出，这些数据集和方法仅作为未来研究的起点。
论文staypoint detection轨迹数据基准数据集
推荐理由：这篇论文提供了16个带噪声的轨迹数据集和9种驻留点检测算法评估，发现现有方法在真实噪声下效果差，而他们的新方法提升明显，对做轨迹分析的人很有参考价值。
原文
7月13日
09:27
7月9日
09:53
09:53官方账号arXiv cs.LG@Hyunjae Kim, Dain Kim, Pan Xiao, Serina S. Applebaum, Younjoon Chung, Xuguang Ai, Yu Yin, Roy Jiang, Yuexi Du, Yawen Wei, Yiming Kong, Tuo Guo, Zhiyuan Cao, Mengmeng Du, Yuelei Fu, Yan Hu, Rui Shi, Gui Yang, Kevin W. Jin, Yuntian Liu, Yuxuan Tian, Jonathan Marquez, Zhen Chen, Sheng Zhang, Hoifung Poon, Hua Xu, Jaewoo Kang, Qingyu Chen
精选
MedPMC从610万篇PMC文章中自动筛选出1100万医学图像-文本对。人工评估中，95.3%的图像具有医学相关性，而此前数据集仅19.7%。在26项基准测试中，基于MedPMC训练的CLIP-style模型零样本AUC平均提升7.1个百分点。作为MLLM的视觉编码器，其医学VQA准确率提升1.9和16.9个百分点。在1万张真实临床照片中，形态到图像检索Recall@5提升11.7个百分点。
AI模型MedPMCPubMed Central医学多模态
推荐理由：想训练医学多模态模型但缺高质量数据？MedPMC从610万篇论文里筛出1100万对数据，效果比现有数据集好5倍。
原文
6月10日
10:52
10:52官方账号arXiv cs.LG@Abhijoy Sarkar, Aarchi Singh Thakur
精选
OncoTraj 是一个针对EGFR突变非小细胞肺癌（NSCLC）患者接受一线奥希替尼治疗后耐药预测的公开基准数据集，整合了来自MSK-CHORD、AACR Project GENIE BPC NSCLC和FLAURA研究的813例患者数据。该基准定义了三个任务：12个月进展二分类、进展时间回归和耐药机制六分类。当前v1版本仅使用单时间点组织NGS特征，所有模型（包括LSTM和多任务Transformer）在干净评估中均未超越随机水平，表明瓶颈在于输入模态而非算法。基准确认了TP53共突变与12个月进展率从29%升至59%的关联。OncoTraj为纵向耐药预测提供了可复现的基线，并明确了v2版本需引入连续ctDNA数据的设计方向。
论文基准数据集耐药预测EGFR突变
推荐理由：肿瘤基因组学研究者终于有了可复现的耐药预测基准——OncoTraj 直接点出当前单点NGS的模态瓶颈，做纵向建模或液体活检分析的团队值得关注，v2 的 ctDNA 设计方向会直接影响你的实验方案。
原文
6月2日
09:42
09:42官方账号arXiv cs.AI@Bingyu Li, Da Zhang, Tao Huo, Zhiyuan Zhao, Junyu Gao, Xuelong Li
精选
多时序指代分割（MTRS）是一项新任务，要求模型从多时序图像中分割出语言描述的时间变化。研究团队提出了CRAFT-Agent自动化数据构建流程，并构建了首个基准MTRefSeg-21K，包含2.1万高质量三元组。现有视觉语言模型在该任务上表现不佳，为此团队提出了MTRefSeg-R1框架，采用两阶段训练策略，先学习通用时序变化感知，再微调实现细粒度语言引导定位。实验表明，MTRefSeg-R1显著优于现有基线，揭示了多时序视觉推理的挑战与潜力。
论文多时序推理指代分割视觉语言模型
推荐理由：做多模态视觉推理或时序变化检测的团队，这个新基准和基线模型值得关注——它填补了LVLM在时序推理上的空白，可以直接用来评估和提升模型能力。
原文
5月30日
01:21
01:21官方账号Fei-Fei Li@drfeifei
斯坦福大学教授李飞飞团队推出GPIC（Giant Permissive Image Corpus），这是一个专为大规模生成模型设计的视觉生成基准数据集。该数据集包含1亿对VLM标注的图文训练对和100万对基准测试对，总计约28万亿像素。所有数据均完全开放用于研究和商业用途，并集中托管。GPIC旨在解决现有数据集在规模、许可和标注质量上的不足，为视觉生成领域提供标准化评估平台。
论文视觉生成基准数据集GPIC
推荐理由：做视觉生成模型的研究者终于有了一个大规模、开放许可的标准化基准，可以直接用来训练和评估模型，省去自己收集和清洗数据的麻烦。
原文
5月15日
10:12
10:12官方一手arXiv: OpenAI@Tianwei Chen, Takuya Furusawa, Yuki Hirakawa, Ryotaro Shimizu, Mo Fan, Takashi Wada
精选
本文提出 MultiEmo-Bench，一个多标签视觉情感分析基准数据集，用于全面评估多模态大模型（MLLMs）预测图像引发情感的能力。现有数据集采用单候选情感标注方案，忽略了单张图像可能引发多种不同强度情感的事实，导致低估 MLLMs 能力。新数据集为每张图像雇佣 20 名标注者，收集所有被激发的情感，最终包含 10,344 张图像和 236,998 条有效投票，覆盖八种情感。评估了 Qwen3-VL、GPT、Gemini 和 Claude 等模型，结果表明当前 MLLMs 虽有进步，但仍有很大提升空间。实验还发现，LLM-as-a-judge 方法在视觉情感分析这一主观任务上效果不稳定。
论文多模态大模型视觉情感分析基准数据集
推荐理由：做多模态情感分析或评估 MLLMs 情感能力的团队，终于有了一个更可靠的多标签基准——MultiEmo-Bench 解决了现有数据集低估模型的问题，值得直接用于模型评测。
原文