09:29
官方账号arXiv cs.AI@Vipul Gupta, Zihao Wang, Razvan-Gabriel Dumitru, MohammadHossein Rezaei, Aakash Sabharwal, Yunzhong He
推荐理由：CRAFT能帮你找到模型具体弱在哪里，不是笼统说不行，而是通过评分标准拆解能力，还能自动生成训练数据修bug。金融和法律测试里比随机采样效果好很多。
能力诊断
共 1 条相关 AI 资讯
7月20日
09:29
CRAFT是一种新方法，将基于评分标准的评估数据集转化为模型特定弱能力诊断。它从每个提示-评分标准对中提取能力描述，聚类成层次能力树，在4个开源模型、金融和法律两个领域及13个保留基准上评估。在金融领域，CRAFT对所有4个模型的平均分超过基线；在法律领域，对4个模型中的3个表现最强。结果表明，基于评分标准诊断比基于提示或类别能更精确地定位模型弱能力，并生成更有效的微调数据。