多组件LLM智能体的局部一致性与全局不一致性形式化分析

Locally Coherent, Globally Incoherent: Bounding Compositional Incoherence in Multi-Component LLM Agents

精选理由

多组件LLM系统的组合一致性是实际部署中的关键问题,做智能体架构或概率推理的开发者会直接受益——本文提供了可计算的诊断方法和理论边界,值得关注其修复方案。

AI 摘要

多组件LLM智能体由多个子组件组成,每个子组件只看到联合问题的一部分,即使每个组件局部一致,组合后也可能违反基本概率公理。本文通过组合残差ε*形式化这种“局部一致、全局不一致”的失败,该残差可在运行时从系统输出和声明的跨组件耦合约束计算。研究在4个LLM的1876个集成团上发现,33-94%的团存在ε*>0,导致每赌注+0.115 nats的遗憾。三种直观的LLM侧缓解方法(检索、分区感知提示、聚合LLM)均失败或退化。

AI 翻译 · 中文

多组件LLM智能体由多个子组件组成,每个子组件只看到联合问题的一部分,即使每个组件局部一致,组合后也可能违反基本概率公理。本文通过组合残差ε*形式化这种“局部一致、全局不一致”的失败,该残差可在运行时从系统输出和声明的跨组件耦合约束计算。研究在4个LLM的1876个集成团上发现,33-94%的团存在ε*>0,导致每赌注+0.115 nats的遗憾。三种直观的LLM侧缓解方法(检索、分区感知提示、聚合LLM)均失败或退化。

arXiv cs.AIMulti-component LLM agents assemble probabilistic claims from components that each see only part of a joint problem; the composition can violate basic probability axioms even when every component is locally coherent. We