精选理由
做NLP模型可解释性研究的团队，终于有了一个兼顾效率、黑盒兼容和语言直觉的方案——无需模型内部信息，直接输出可理解的单词子集解释，值得一试。
本文提出一种新方法，用于解释黑盒深度语言模型的预测决策。该方法通过选择一小部分信息丰富的输入单词来生成解释，解决了现有方法在推理效率、黑盒兼容性和语言结构可解释性三方面的不足。研究将单词选择建模为摊销优化问题，使用REINFORCE策略梯度进行训练，无需访问模型内部状态。同时，通过整合图结构知识，确保所选单词子集在语言上连贯且符合人类直觉。实验表明，该方法在多个数据集和模型架构上优于传统黑盒方法和梯度基方法。
AI 翻译 · 中文
本文提出一种新方法，用于解释黑盒深度语言模型的预测决策。该方法通过选择一小部分信息丰富的输入单词来生成解释，解决了现有方法在推理效率、黑盒兼容性和语言结构可解释性三方面的不足。研究将单词选择建模为摊销优化问题，使用REINFORCE策略梯度进行训练，无需访问模型内部状态。同时，通过整合图结构知识，确保所选单词子集在语言上连贯且符合人类直觉。实验表明，该方法在多个数据集和模型架构上优于传统黑盒方法和梯度基方法。
As deep language models (DLMs) are increasingly deployed in high-stakes domains such as healthcare, understanding their decision rationale becomes paramount for ensuring trust, safety, and accountability. However, achiev…