#推理路由

共 3 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「推理路由」标签的资讯、产品与论文，按刊登时间排，新的在上。

6月18日

ARIADNE：推理时动态适配器选择的无关路由框架

这篇论文提出了ARIADNE，一个不用训练就能自动为输入选对适配器的方法，在Llama 3.2上恢复了97%的上界性能，比现有路由方式更灵活。

#ARIADNE #Llama 3.2 #PEFT #推理路由

arXiv cs.AI@Enrico Cassano 等 5 人原文

5月29日

技巧 Agent 与开发者72°11:42

视频生成模型新训练方式：多专家分布式训练，推理时组合

这种分布式训练思路颠覆了传统大模型训练范式，做模型训练或视频生成的开发者可以看看论文，或许能启发新的低成本训练方案。

#视频生成 #分布式训练 #专家模型 #推理路由

Ate-a-Pi@svpino原文

产品 Agent 与开发者04:44

The Grid AI 推出分层推理路由，按任务等级自动选最便宜模型

做 AI 推理的团队终于有了按需降本的方法——不用改代码就能自动切换更便宜的模型，适合处理大量相似任务的开发者直接试试。

#推理路由 #成本优化 #The Grid AI #模型选择

rohanpaul_ai@rohanpaul_ai原文