AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

细粒度评估

共 1 条相关 AI 资讯
5月21日
09:46
09:46官方账号arXiv cs.AI@Souvick Das, Sallam Abualhaija, Domenico Bianculli
精选
法律领域对检索增强生成(RAG)系统的可靠性要求极高,但现有基准缺乏细粒度评估,且多为英文、面向专家。研究者提出ClaimRAG-LAW数据集,支持法语和英语,覆盖专家与非专家用户,包含多样问题类型。通过细粒度评估框架分析现有法律RAG系统,揭示了检索、生成及声明级分析的局限性。该工作为法律AI的可靠性评估提供了更精准的工具。
论文法律AIRAG/检索增强生成基准测试细粒度评估多语言

推荐理由:法律AI的幻觉问题一直难量化,这个基准把检索和生成拆开评估,做法律NLP或合规系统的团队可以直接用来测试自己的RAG管线。
原文
精选全部日报登录