Baseten 相关 AI 资讯 · AI 热点

8月19日

07:05

07:05

官方账号LangChain@LangChainAI

LangChain组织了一场关于评估工程（eval engineering）的直播，邀请Prime Intellect和Baseten的专家参与。直播讨论了如何将真实世界的轨迹数据转化为模型环境，以持续改进模型。内容涵盖将环境与评估作为智能体的训练数据、训练时机及人工介入程度等话题。

技巧 LangChain Prime Intellect Baseten

推荐理由：想学怎么把业务数据变成训练环境？这场直播讲得挺实在，Prime Intellect和Baseten的人都在，适合搞智能体的朋友。

01:05

01:05

官方账号LangChain@LangChainAI

精选

LangChain 将举办关于 Automating Eval & Environment Engineering 的线上小组讨论。演讲嘉宾包括 LangChain CEO Harrison Chase 和 Prime Intellect 的研究员 willccbb。会议将探讨如何利用 harness、tools 和 environments 等系统组件构建差异化优势。内容涉及 open models 和 model-harness co-design 对企业拥有自主智能的影响。

行业 LangChain Prime Intellect Baseten

推荐理由：LangChain CEO 和 Prime Intellect 研究员一起聊模型评估和环境工程自动化。

8月13日

18:14

18:14

官方账号NVIDIA AI@NVIDIAAI

72°

NVIDIA Nemotron 3.5 Lightning 已在 Baseten 上线，定位为长时运行智能体设计。相比同类开源模型，其吞吐量提升 4 倍，成本降低 50%。在生产测试中，输出 token 数量减少 63.4%。该模型采用 30B MoE 架构，仅激活 3B 参数，支持 100 万 token 上下文。

AI模型 NVIDIA Nemotron 3.5 Lightning Baseten

推荐理由：跑长时任务的智能体注意了，Nemotron 3.5 Lightning 上线 Baseten，吞吐翻 4 倍、成本砍半，输出还更精简。

17:48

17:48

官方账号NVIDIA AI@NVIDIAAI

CodeRabbit与Baseten合作，用CodeRabbit自身的路由决策数据微调了NVIDIA Nemotron 3.5 Lightning。整个微调过程耗时不到3小时，花费低于100美元。微调后的模型相比此前的GPT级模型，准确率提升约4%，推理成本下降约50%。详细技术解析已发布在CodeRabbit官方博客。

AI模型 CodeRabbit Nemotron 3.5 Lightning Baseten

推荐理由：CodeRabbit用不到100美元和三小时微调了NVIDIA新模型，比原来的GPT级模型准确率高4%，推理成本还省一半，想省钱的可以看看。

8月4日

06:38

06:38

Latent.Space@latentspacepod

精选

在latent.space的推理工程大师课中，Baseten的Philip Kiely与@waterloo_intern讲解了模型训练后如何变成快速可靠的产品。他们指出量化误差可以相互抵消，从而解锁更高吞吐量。推理团队目前仍能挖掘20%–200%的性能增益。视频生成面临二次注意力扩展的瓶颈。GLM-5.2还使用自身重写并优化了服务自己的GPU内核。

技巧 GLM-5.2 Baseten 推理优化

推荐理由：Baseten工程师讲推理优化，量化误差能抵消，GLM-5.2自己优化自己，还有20-200%提速空间。

06:27

06:27官方账号Latent Space (swyx)（博客/媒体）

76°

Baseten刚完成130亿美元F轮融资，成为推理工程领域的头部公司。本文由Philip Kiely和Ali Taha撰写，是一份推理工程大师课。内容聚焦自回归推理与扩散推理两大方向。适合从事AI模型部署的工程师阅读。

技巧 Baseten 推理工程自回归模型

推荐理由：Baseten刚融了130亿美元，这篇大师课把自回归和扩散的推理工程讲透了，搞部署的可以看。

7月17日

00:18

00:18

Harrison Chase@hwchase17

精选

LangChain 发布新视频，演示如何通过 Baseten 运行 NVIDIA 的 Nemotron 3 Ultra 模型，该模型拥有 550B 参数，每秒可生成 300 token。视频展示了构建终端智能体、子智能体以及支持 MCP 协议的过程，所有追踪都通过 LangSmith 完成。这是一个实用的开源模型工作流教程。

技巧 Nemotron 3 Ultra LangChain Baseten

推荐理由：想看 550B 参数的 Nemotron 3 Ultra 怎么跑智能体？LangChain 出了教程，支持 MCP 和子智能体，速度 300 tok/s，值得动手试试。

00:07

00:07

官方账号LangChain@LangChainAI

精选

该视频演示了如何通过 Baseten 结合 Deep Agents Code 部署 NVIDIA Nemotron 3 Ultra 模型。该模型拥有550B参数，推理速度可达每秒300 tokens。视频还展示了构建终端智能体，支持技能调用、子智能体及 MCP 协议。全程通过 LangSmith 进行追踪调试。

技巧 Nemotron 3 Ultra NVIDIA Baseten

推荐理由：想跑Nemotron 3 Ultra？这个视频手把手教你用Baseten部署，还演示了带MCP的终端智能体，挺实用的。

7月9日

07:40

07:40

Notion@NotionHQ

Baseten每天处理数十亿次AI推理调用，因一名AE（Katz）成为全公司知识瓶颈而效率受阻。他们用Notion的Custom Agents构建了Katz的数字分身，将回答时间从平均30分钟降至20秒。该Agent全天候运行，让整个公司能即时获取答案，而Katz得以专注于只有他能完成的交易。

技巧 Baseten Notion Custom Agents

推荐理由：Baseten用Notion的Custom Agents把员工Katz的脑子装进了数字分身，原本半小时的答疑现在20秒搞定，全员自取答案，Katz终于可以去干正事了。

04:38

04:38

Notion@NotionHQ

Baseten每天处理10亿次AI推理调用，但其首位客户工程师（AE）成了知识瓶颈，回答同事提问占用了全部时间。他们使用Custom Agents构建了该AE的数字双胞胎，将原本需要30分钟的问题缩短至20秒，实现全天候自动回答。整个公司都能即时获取答案，而AE得以回归只有他能完成的交易工作。

技巧 Baseten Custom Agents 智能体

推荐理由：Baseten用Custom Agents给那位AE造了个数字分身，原来要等半小时的问题现在20秒就搞定，牛啊。

00:35

00:35

Harrison Chase@hwchase17

LangChain创始人Harrison Chase宣布与模型托管平台Baseten合作，旨在让所有开发者都能在深度Agent中使用开放权重模型。Baseten提供推理基础设施，LangChain负责Agent编排，双方共同降低开源模型在Agent工作流中的集成门槛。该合作尚未公布具体时间表或功能细节，但已引发社区对开源Agent生态的关注。

行业 LangChain Baseten 开放权重模型

推荐理由：想让你的Agent跑上开源模型？LangChain和Baseten联手了，以后部署更省事。

6月17日

04:34

04:34

Notion@NotionHQ

Notion 宣布在其平台上推出开放权重模型 GLM 5.2。该模型专门为长周期任务优化，通过 Baseten 提供服务。用户可直接在 Notion 中使用该模型，其权重公开可用于自定义部署。

AI模型 GLM 5.2 Notion Baseten

推荐理由：Notion 上多了个新模型 GLM 5.2，专搞长周期任务，通过 Baseten 提供服务，想试试开放权重模型的可以看看。