#LLM
共 791 条 · 7 天 48 条 · 30 天 187 条
9月17日
9月16日
Jev模型仅用于决策/分类/路由/评分,速度比小前沿LLM快100倍以上,成本更低
TypeSafe发布了Jev模型,它只做决策、分类、路由和评分这些事,比小前沿LLM快100倍还便宜200倍,适合系统级任务。
9月15日
9月14日
LLM 优化面试笔记:KV Cache、投机解码、ZeRO 与 DualPipe,训练与推理的核心考点一次讲透(附多方学习资源)
这是 @gauri__gupta 为 AI 实验室技术面试准备的笔记,系统梳理了训练和推理中的关键优化技术,比如 KV Cache、ZeRO 和 DualPipe,对准备面试的人很有帮助。
9月13日
NVIDIA 官方 LLM 推理基准指标定义,把 LLM 推理的每个指标概念都搞清楚!
NVIDIA 官方出了一套 LLM 推理指标体系,把 prefill 和 decode 阶段的延迟、吞吐等概念讲得特别清楚,对选型或容量规划很有帮助。
9月12日
9月11日
知识图谱理解框架 EXYGEN 发布,提升 LLM 对图谱的问答能力
这个研究很实用,它教我们如何用 ShEx 元数据和 RAG 机制,让 LLM 直接理解知识图谱,而不用再花大力气微调模型,对做知识图谱应用的开发者应该挺有帮助。
9月10日
9月9日