Hugging Face 把 Transformers 模型直接跑进 vLLM,性能不输手写,以后搞推理不用重复造轮子了。
HuggingFace与vLLM:AI推理原生时代
2026年7月14日,AI推理效率迎来原生加速里程碑:Hugging Face Transformers模型可直接在vLLM中运行,覆盖4B-235B参数,部署门槛骤降。同时Milvus 2.6新增原生MinHash LSH索引,处理100亿文档吞吐量翻倍、成本降3-5倍。智能体方向,斯坦福TRACE将失败轨迹转化为合成RL环境,SWE-bench达73.2% Pass@1;OpenAI发布提示词四要素框架。大模型再添新星——腾讯混元Hy3(295B MoE)登顶OpenRouter前8,德国Soofi S 30B开源领先,Google SensorFM基于1万亿分钟穿戴数据训练,34/35任务超越基线。AI正向原生智能加速演进。
Models
5 itemsSkyfall AI 新出的 MORPHEUS 基准专门测持续强化学习,PPO 等主流算法都远没到上限,搞 RL 的值得看看。
腾讯新出的混元Hy3模型,295B参数,Agent能力很强,OpenRouter上排前8,感兴趣可以看看。
Products
5 itemsBluesight用Amazon Bedrock把六个医疗合规产品串成一个智能体,20家医院已用上,再复杂方案今年出。
Peter 用 GPT-5.6 Sol 整了个逆天项目:用 SQLite 跑游戏引擎,所有像素都是 SQL 算出来的。你可以在终端玩,还能在 Datasette 里围观实时地图。
Milvus 2.6 加了一个原生MinHash LSH索引,专门用来做大文本集合的近似去重,比MapReduce方案快3-5倍,适合搞LLM训练数据清洗的团队。
Cloudflare出了个Precursor,靠分析用户全程行为来抓机器人,比旧方法更准,还不会误伤正常人。
Prime Intellect 出了 Verifiers v1,把RL训练环境拆成任务集、框架和运行时三块,能自由组合,还自带拦截服务器收集数据,做智能体RL的可以试试。
Industry
5 items想搞懂为什么长上下文和RAG不够用?EngramLab创始人亲自讲他们怎么用知识墨盒和连续学习让AI真正记住你,比传统路子更接近个人智能体。
别被那些说中国AI全面碾压美国的文章带偏了,这篇用NeurIPS论文数据和MacroPolo人才报告,把两边的真实差距和关键问题讲得明明白白。
DecagonAI联合创始人在NYT说,把任务从闭源模型换到Together AI上的开源模型,成本只要原来的五分之一到七分之一,省太多了。
纳德拉公开怼OpenAI和Anthropic,说他们一边拿公开数据训练,一边不让别人蒸馏自己的模型,挺双标。微软还顺便推销自家产品。
微软用AI找漏洞效率大增,6月补丁多了近70%,Patch Tuesday变得更实用了。
Papers
5 items这篇论文把深度高斯过程自然地拓展到有向无环图,理论证明很漂亮,而且在蛋白网络和重离子碰撞模拟上跑赢了现有方法,值得搞因果建模或不确定性量化的朋友细读。
这篇论文在RTRMC基础上加入图正则化,处理行列关联强的数据时补全更准,做推荐系统或图像修复的值得一看。
这篇论文系统梳理了LLM在芯片前端设计中的应用,从HDL生成到设计空间探索,还介绍了OpenClaw等代理AI方案,适合关注EDA与AI结合的读者。
How-to
5 itemsAWS官方教你用Bedrock AgentCore Gateway和Okta实现OBO token交换,解决多租户跨身份认证的痛点,有代码有示例。
手把手教你用FFmpeg+Whisper搭视频编辑Agent,不用API密钥,还能自动修复执行图,比纯AI工具更可控。
OpenAI 官方出的提示词指南,教你不用“公式”也能写好,分 Chat、Work、Codex 三个场景,很实用。
想搞生产级语音Agent?这篇拆了Telnyx的实战方案,15行webhook搞定上下文注入,还讲清了低延迟和测试细节。
Viking 分享了怎么用 GPT5.6 规划、Kimi 和 DeepSeek 执行、再交回贵模型审查,省 token 又高效,适合做大项目时试试。