12:08arXiv cs.AI@Ali Pourghasemi Fatideh, Wilder Baldwin, Maria Dhakal, Collin McMillan, Sepideh Ghanavati本研究聚焦LLM对话系统在处理非功能需求(NFRs)时的准确性和对话质量。49名程序员使用GitHub Copilot对148个HIPAA衍生NFR进行评估,基于iTrust代码库,从需求满足度、推理和代码定位三个维度分析。结果显示开发者倾向于认同LLM评估,但与专家标注的真实标准相比准确率较低。更长系统响应和更多信息提供轮次会降低用户满意度,而主动交互则提升满意度。论文为设计面向NFR评估的LLM对话系统提供了经验证据。论文LLMNFRHIPAAGitHub Copilot多轮对话推荐理由:这篇论文用49个程序员和148个实例,实测了GitHub Copilot评估HIPAA合规NFR的准确度,发现开发者容易被带偏,但主动交互反而让人更满意。原文