评估 LLM 时你可能一直测错了东西:这篇论文证明离线跑基准和线上 A/B 测的根本不是同一个指标,用户适应后模型排名都可能反转。做模型评估、部署选型或实验设计的工程师和研究者应该看看它给出的判断条件。
#user behavior
15 stories · 1 in 7 days · 2 in 30 days
Stories, products and papers tagged "user behavior", newest first.
Nov 13
Chinese content研究:用户自适应行为如何影响 LLM 交互系统的评估
Oct 23
Oct 11
Sep 7
Aug 7
Jul 23
Papers11:39
Chinese content生成式AI驱动的学术图书馆资源用户参与研究:以ChatGPT、Perplexity、Gemini为例这篇论文用两年多的真实数据,告诉你ChatGPT、Perplexity、Gemini怎么把用户引向学术图书馆的论文和学位论文,适合关心AI如何改变学术搜索的人。
Jun 26
Chinese contentAnthropic升级研究方法追踪Claude的经济影响
Anthropic改进了对Claude经济影响的研究方式,用每小时采样看用户一天中怎么用、用Claude做什么,数据很细。
Jun 11
Papers11:00
Chinese contentNonslop:人类与AI协作写作的游戏化实验这项研究用游戏机制戳破了AI辅助创作中“默认接受”的假象,做创意工具或人机交互设计的团队值得一看,能帮你理解用户何时会主动拒绝AI建议。
Jun 3
May 27
May 20
May 14
Industry18:30
Chinese contentAI 回复泛滥:每篇帖子下几十条,动力何在?社交平台 AI 回复泛滥的现象戳中了内容创作者的痛点——每天面对无意义的互动,做内容运营或经常发帖的人看完会有共鸣,值得点开讨论。
May 11
Industry22:15
Chinese contentFrançois Chollet:AI正在放大行动力差距Chollet的观点提醒行业注意AI对用户能力差异的放大效应,有助于产品设计和政策制定者思考如何避免加剧不平等。