Chinese contentMuSeToM 基准测试评估 LLM 基于多感官线索的信念修正能力
想测模型的心智理论能力,可以看看这个 MuSeToM,2400 多个案例,覆盖六种感官线索。它发现模型能察觉信念要变,却经常推错变化后的内容,还容易被表面线索带偏。做 agent 和对话系统评测的值得一试。
想测模型的心智理论能力,可以看看这个 MuSeToM,2400 多个案例,覆盖六种感官线索。它发现模型能察觉信念要变,却经常推错变化后的内容,还容易被表面线索带偏。做 agent 和对话系统评测的值得一试。