精选理由
这篇论文戳中了联邦学习落地中的盲区——隐私保护不等于模型可信，做联邦学习系统或隐私AI的团队值得一读，避免在部署后才发现模型行为失控。
该论文指出，在联邦学习框架下对基础模型进行个性化训练时，由于隐私约束限制了模型行为的可见性，会出现一类难以检测的信任失败，称为“静默失败”。这些失败包括偏见放大、公平性崩溃和对齐侵蚀。现有基准测试存在结构性分裂：联邦基准关注系统性能，而集中式信任基准需要模型访问权限，与联邦隐私不兼容。论文提出了六种静默失败模式的分类法，并强调仅靠隐私保护训练不足以实现可信部署。最后，作者呼吁将静默失败作为联邦人工智能的标准诊断类别，并提出了隐私保护行为评估的研究议程。
AI 翻译 · 中文
该论文指出，在联邦学习框架下对基础模型进行个性化训练时，由于隐私约束限制了模型行为的可见性，会出现一类难以检测的信任失败，称为“静默失败”。这些失败包括偏见放大、公平性崩溃和对齐侵蚀。现有基准测试存在结构性分裂：联邦基准关注系统性能，而集中式信任基准需要模型访问权限，与联邦隐私不兼容。论文提出了六种静默失败模式的分类法，并强调仅靠隐私保护训练不足以实现可信部署。最后，作者呼吁将静默失败作为联邦人工智能的标准诊断类别，并提出了隐私保护行为评估的研究议程。
Foundation models are increasingly personalized on decentralized private data through federated learning and are now deployed at scale under growing regulatory requirements for post-market monitoring. We argue that this …