精选理由
本地部署LLM的开发者终于有办法解决队头阻塞了——Clairvoyant用极低开销预测请求长度，短查询不再被长任务堵死，Ollama/llama.cpp用户可以直接集成试试。
串行LLM推理后端（如Ollama）在混合工作负载下因FCFS调度导致队头阻塞（HOLB），短查询可能被长生成任务延迟数分钟。Clairvoyant是一个即插即用的侧车代理，通过19个轻量级词汇特征用ONNX导出的XGBoost分类器预测响应长度，单请求延迟仅0.029毫秒。它优化排序保真度，在自然对话数据集上达到62-96%分布内和52-66%跨分布准确率。在RTX 4090上，短请求的P50延迟在最大队列压力下降低70-76%，稳态泊松到达下降低17%。Clairvoyant开源且无需修改推理后端。
AI 翻译 · 中文
串行LLM推理后端（如Ollama）在混合工作负载下因FCFS调度导致队头阻塞（HOLB），短查询可能被长生成任务延迟数分钟。Clairvoyant是一个即插即用的侧车代理，通过19个轻量级词汇特征用ONNX导出的XGBoost分类器预测响应长度，单请求延迟仅0.029毫秒。它优化排序保真度，在自然对话数据集上达到62-96%分布内和52-66%跨分布准确率。在RTX 4090上，短请求的P50延迟在最大队列压力下降低70-76%，稳态泊松到达下降低17%。Clairvoyant开源且无需修改推理后端。
Serial LLM inference backends -- such as Ollama -- process requests one at a time under FCFS admission, causing Head-of-Line Blocking (HOLB) under mixed workloads at high utilisation: short factual queries can be delayed…
- IT之家06-06 12:48原文