精选理由
这篇论文用49个程序员和148个实例，实测了GitHub Copilot评估HIPAA合规NFR的准确度，发现开发者容易被带偏，但主动交互反而让人更满意。
本研究聚焦LLM对话系统在处理非功能需求（NFRs）时的准确性和对话质量。49名程序员使用GitHub Copilot对148个HIPAA衍生NFR进行评估，基于iTrust代码库，从需求满足度、推理和代码定位三个维度分析。结果显示开发者倾向于认同LLM评估，但与专家标注的真实标准相比准确率较低。更长系统响应和更多信息提供轮次会降低用户满意度，而主动交互则提升满意度。论文为设计面向NFR评估的LLM对话系统提供了经验证据。
AI 翻译 · 中文
本研究聚焦LLM对话系统在处理非功能需求（NFRs）时的准确性和对话质量。49名程序员使用GitHub Copilot对148个HIPAA衍生NFR进行评估，基于iTrust代码库，从需求满足度、推理和代码定位三个维度分析。结果显示开发者倾向于认同LLM评估，但与专家标注的真实标准相比准确率较低。更长系统响应和更多信息提供轮次会降低用户满意度，而主动交互则提升满意度。论文为设计面向NFR评估的LLM对话系统提供了经验证据。
LLM-based dialogue assistants have become mainstream tools for software developers, yet current evaluation benchmarks focus exclusively on functional correctness. This leaves a critical gap in assessing the quality and a…