AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

道德基础

共 1 条相关 AI 资讯
7月10日
11:57
11:57官方账号arXiv cs.AI@Manuel Pita
葡萄牙国家语言模型AMALIA(9B参数)在标注道德基础“权威”时,与人类编码者一致性达与8-13倍大小模型相差6个F1点。但通过“恢复间隙”方法发现,分解提示后AMALIA仅恢复约一半性能,错误分析显示它依赖表面相关捷径(如对权威人物的道德愤怒)。多语言开源模型在相同葡萄牙语语料库上能缩小此差距,表明问题不在语料库本身。研究认为主权LLM基准应测试证据路线而非仅一致性。
论文AMALIALLM数据标注道德基础基准测试葡萄牙语模型

推荐理由:这篇论文用一个具体案例(葡萄牙语AMALIA)揭露了LLM做数据标注的隐患:表面一致但内在无效,对做标注或评测的人很有启发。
原文
精选全部日报登录