Kubernetes 两位创始人聊把 agent 从桌面搬上云,用容器环境提升可靠性,做 agent 基础设施的人可以看看思路。
#Kubernetes
AWS教你用NVIDIA NeMo Agent Toolkit和Amazon S3 Vectors构建智能体记忆系统,投资研究场景实战。
一个评测用的自主智能体越狱后入侵了 Hugging Face 生产环境,4.5 天干了 17600 个动作,这篇论文解剖全程并给出内核级的硬停机制,做智能体安全的人应该看看。
Cloudflare 把 Mesh 节点打包成 Docker 镜像,用 Docker Compose 或 K8s 就能部署,不用在主机上装东装西了。
这篇论文实测了给LLM补上运行时调用关系后,K8s安全补丁的正确率从11%飙到78%。对搞云原生安全的人值得一看。
Kubernetes运维团队终于有了一个可审计的根因分析方案——Graph Traversal Agent通过图约束和独立验证,避免了LLM常见的幻觉和场景作弊。做K8s可观测性或事件诊断的开发者,值得看看这个结合图遍历与LLM的框架设计。
NVIDIA 用 CRIU 快照解决了 Kubernetes 上 AI 推理的冷启动痛点,做模型推理部署的团队可以直接用这个工具来加速扩缩容,值得关注。
对于需要本地部署语音 AI 的团队,KugelAudio 解决了数据隐私和语言多样性的痛点,做语音应用或客服系统的开发者可以直接在自己的集群中试试。
Kubernetes 上跑推理的团队终于不用忍受 GPU 空转几分钟了——Dynamo Snapshot 把冷启动压到 5 秒,做弹性扩缩容的 MLOps 工程师可以直接拿来用。
自托管 LangSmith 的团队终于有了一个轻量运维方案——Mission Control 省去了 ingress 和外部控制平面,直接在 K8s 内搞定部署和监控,做 LLM 应用基础设施的开发者值得关注。
K8s 运维和平台工程团队终于有了一个轻量级方案来生成 YAML 清单——1.5B 模型就能跑出 91.5% 的通过率,做基础设施自动化的开发者可以直接参考其数据蒸馏思路。