04:29
Aravind Srinivas@AravSrinivas
Aravind Srinivas@AravSrinivas72°
推荐理由：Denis Yarats分享了Perplexity在多智能体协作方面的进展，本地模型作为远程模型的门户，可以显著提升性能并降低成本，如果你对这一领域感兴趣，不妨私信他了解更多。
代币处理
共 1 条相关 AI 资讯
8月27日
04:29
Denis Yarats在Perplexity表示，他们探索了本地模型向远程前沿模型进行顾问升级的简单实例，展示了这可以显著提升本地模型的性能。本地模型作为远程模型的**门户**，主要任务是对所有原始代币进行预处理，将它们打包成更少、信息更密集的代币，并将这些代币发送到服务器。这种预处理降低了成本和延迟，实现了个性化，并允许隐私控制。目前，这种方法可以节省50%的代币，但想象一下，未来90%以上的代币在本地处理，只有10%发送到服务器进行最后一英里最艰难的推理，这将实现10倍的成本降低和更低的延迟带来的更愉悦的用户体验。训练这样的多智能体系统并不容易，但仍需在多智能体强化学习上进行大量研究，他们正在取得进展并积极招聘。