Primary sourcearXiv: DeepSeek
View sourceEvent ·Official first-hand
CoRE 基准揭示 LLM 数据清洗成绩依赖已知实体记忆
论文提出 CoRE 协议,用英文单词或音节构建的名称替身来检测 LLM 数据清洗中的知识依赖。在 21 张受控表和 8 个 LLM 的测试中,Hospital 与 Movies 两个数据集上的修复表现随实体名称明显波动,DeepSeek-V4-Pro 的年份准确率在换用替身后从 91% 降到 18%。商业模型在已知影片上会以 0.000-0.404 的比率改写指定导演,说明熟悉知识可能与任务冲突。Rayyan 数据集上参考评分还会与外部记录不一致,94% 的 TabClean 认可修复只是复现了参考日期变换。论文公开了受控表格、评分代码与离线复现材料。
Current read
做数据清洗的同学看下:这篇用改名替身测出 8 个模型的得分其实靠记忆已知实体,DeepSeek-V4-Pro 换名后年份准确率从 91% 掉到 18%。
2 sources37° AI heatLast updated 2026/11/5 14:44:44
Evidence
2 sourcesRelated source 1Thomas Wolf
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.