#LLM 推理引擎

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "LLM 推理引擎", newest first.
Nov 11
Chinese contentEngineAgent:用智能体自动化端侧 LLM 推理引擎的模型适配

端侧适配新模型要在转换、图构建、算子、后端好几层同时改,普通编码 agent 搞不定。这篇论文的 builder+auditor 双角色设计把成功率从 33.3% 拉到 75%,做端侧部署的工程师值得细看实现思路。

arXiv cs.AI@Zhengxiang Huang et al. (9)Source