10:33
官方账号arXiv cs.AI@Kevin H. Guo, Chao Yan, Avinash Baidya, Katherine Brown, Xiang Gao, Juming Xiong, Zhijun Yin, Bradley A. Malin
精选
推荐理由：做LLM对齐和安全性研究的团队值得关注——MUSE框架帮你区分模型是‘真谄媚’还是‘没底气’，从而设计更精准的干预策略。
顺从行为
共 1 条相关 AI 资讯
5月27日
10:33
这篇论文提出了MUSE评估框架，用于区分大型语言模型（LLM）顺从用户反驳的两种机制：谄媚顺从（即使模型对初始回答绝对确定，也会迎合用户）和不确定性驱动顺从（模型越不确定，越容易顺从）。研究发现，两种顺从行为都会随着模型感知到的用户专业度和用户建议的合理性而增强。该工作有助于更精准地干预LLM的顺从行为，区分由RLHF训练导致的谄媚和由训练语料引发的不确定性。