精选理由
LLM API调用成本高、选择困难，这篇论文为开发者提供了理论驱动的自适应查询策略，做模型编排或API调度的团队可以直接参考其方法优化成本与效果。
该论文提出了一种在线上下文潘多拉魔盒模型，用于自适应查询和选择LLM API。决策者在每个周期观察请求上下文，面临两阶段决策：查询阶段顺序调用API并产生输出相关成本，选择阶段从生成的输出中选一个部署并观察下游奖励。与经典模型不同，该模型输出反馈结构不直接揭示奖励。研究者直接建模保留索引，结合广义矩估计和UCB置信界，实现了维度相关的√T累积遗憾。
AI 翻译 · 中文
该论文提出了一种在线上下文潘多拉魔盒模型，用于自适应查询和选择LLM API。决策者在每个周期观察请求上下文，面临两阶段决策：查询阶段顺序调用API并产生输出相关成本，选择阶段从生成的输出中选一个部署并观察下游奖励。与经典模型不同，该模型输出反馈结构不直接揭示奖励。研究者直接建模保留索引，结合广义矩估计和UCB置信界，实现了维度相关的√T累积遗憾。
Motivated by Large Language Model (LLM) cascading, we propose an online contextual Pandora's Box model for adaptively querying and selecting LLM APIs. In each period, a decision-maker observes a request context and faces…