SG-TULA:非凸非光滑采样的驯化次梯度算法
研究者提出次梯度驯化非调整朗之万算法(SG-TULA),用于处理势函数非光滑、超线性梯度增长且非凸的采样问题。该算法直接操作次梯度,无需计算昂贵的平滑步骤,并采用驯化技术保证显式格式稳定。在Wasserstein-2距离下推导了非渐近收敛界,所有常数随维度和逆温度显式给出,优于现有次梯度类朗之万算法。作者在GPT-2系列LLM的正则化预训练势上验证了假设,并展示SG-TULA的坐标提升变体在预训练中可与微调后的AdamW和Muon竞争。
研究者提出次梯度驯化非调整朗之万算法(SG-TULA),用于处理势函数非光滑、超线性梯度增长且非凸的采样问题。该算法直接操作次梯度,无需计算昂贵的平滑步骤,并采用驯化技术保证显式格式稳定。在Wasserstein-2距离下推导了非渐近收敛界,所有常数随维度和逆温度显式给出,优于现有次梯度类朗之万算法。作者在GPT-2系列LLM的正则化预训练势上验证了假设,并展示SG-TULA的坐标提升变体在预训练中可与微调后的AdamW和Muon竞争。
OpenAI 对下一代模型 Astra 的评估显示,其在智能体编码和网络安全任务上能力显著提升。依据 Preparedness Framework,OpenAI 将 Astra 视为首个“关键”网络安全模型,并增加额外安全控制。OpenAI 计划在安全准备工作完成后让 Astra 广泛可用,并将高级网络能力提供给防御者。
Neon 与 Castform 联合开源了一款 4B 参数模型,用强化学习后训练优化文档搜索。在 Neon 的评测中,模型平均得分 1.447,超过 GPT-5.6 Sol 的 1.369 和 GPT-5.4 的 1.377。单次推理成本仅 0.000929 美元,约为 GPT-5.6 Sol 的百分之一。该模型面向智能体式搜索,可自主拆解问题并决定搜索策略。
Cloudflare发布了专为AI Agent设计的浏览器引擎Kitesurf,完全运行在Workers的V8隔离环境上,现已集成进Browser Run产品,beta期免费。与Chromium相比,Kitesurf在截图和HTML提取任务中节省3.1至3.8倍CPU、4.7至7倍内存,但墙钟时间慢1.7至1.8倍。它已通过215,000多条WPT测试,每周新增数百条,能正确渲染TodoMVC全家桶、Wikipedia等站点。Kitesurf不支持视频播放、WebGL和需要真实TLS指纹的反机器人握手,适合非像素完美的Agent任务。
微软将code-testing-generator开源,代码托管在MIT许可的dotnet/skills仓库。该多语言单元测试Agent会先扫描仓库,识别语言、测试框架和构建命令,再自动编写并运行测试。在微软内部152任务基准上,它完成140个任务,而同一模型下原版GitHub Copilot完成120个。任务完成率92.1%对78.9%,增益集中在模糊提示和diff相关请求。
LangChain 宣布一项新能力:开发者可直接在终端用通道、沙盒、记忆和身份等原语搭建 Deep Agent。搭建后可部署至 LangSmith 托管的基础设施。开发者还能通过 Harbor 框架运行 eval,验证智能体行为。整个流程在命令行中完成,无需切换界面。
Claude Code v2.1.224 新增自托管环境支持,可将自有机器或容器作为运行后端,适用于 Team 和 Enterprise 计划。同时支持从 HTTPS ZIP 安装插件,并可用 SHA-256 固定校验。新增跨会话消息功能,Claude Code 会话可在多台机器间互相通信。修复了沙箱拒绝规则被绕过、长路径混淆等多个安全问题。
Cloudflare将机器人缓解从单次风险评分转向持续信任评估,通过BotBase和Precursor系统分析代理在互联网上的行为模式。新系统可区分善意与恶意的自动化行为,并公开了Precursor Trace模拟工具,让用户测试自己的光标移动轨迹被判定为人类还是机器人的概率。该方案针对基于大模型的智能体日益增多的现状,强化网站防护能力。
AWS Generative AI Innovation Center 构建了一款自动化系统,用于判断 NHL 球队何时及如何锁定季后赛席位。该系统结合约束编程与自定义树搜索,给出数学上确定的晋级场景。其有效性已用 NHL 官方发布的四个完整赛季结果进行验证。
AMD收购了加拿大初创公司Taalas,后者将模型权重硬编码进推理芯片,以此换取极致速度。其演示芯片运行Llama 3.1-8B时,每用户每秒可处理超过1.6万个token。这种方案让芯片性能极高,但每颗芯片只能运行单一模型,无法灵活切换。据报道,谷歌也在为Gemini探索类似的芯片内固化方案。
Amazon、Cursor、Microsoft、OpenAI 和 Vercel 联合发布 Agent Plugins 1.0.0,这是一个面向 AI 代理插件的开放标准。该标准定义了统一的插件包格式,使用 plugin.json 清单文件描述插件。插件支持 agent skills 和 MCP servers 两类扩展。目标是让不同 AI 代理之间能共享插件,降低重复开发成本。
Truffle Security联合创始人兼CEO Dylan Ayrey透露,与Hugging Face合作清理了训练集中暴露的凭证,发现约25万个有效密钥,许多直接影响供应链。其中一把密钥对某基础Linux库拥有直接推送权限,可能向全球大多数机器推送恶意软件。清理过程中,Hugging Face CTO告知OpenAI发生安全事件,事件响应中首先列出的就是被盗凭证。
a16z的Simon Mo和Matt Bornstein指出,开源权重模型在生态中不可或缺。他们认为闭源API过于昂贵,且开发者需要掌控基础设施和模型本身。对于语音代理公司,自控模型能确保按需响应,而依赖闭源API可能随时宕机。控制权在近几年变得重要,成本则是近几个月才突出。
AI代理现在常把私钥放在明文文件、环境变量或容器内存里,任何有读权限的进程都可能提取密钥。论文描述了一起生产事故:私钥通过邮件注入在不到五分钟内被窃取。作者提出用HSM、TPM或智能卡承载密钥,通过PKCS#11接口让硬件设备执行签名操作,宿主只拿到不透明句柄。整套零信任架构分五层,包括会话身份SAGA、作用域边界Smax、语义校验RAV、污点跟踪和硬件执行边界。在AgentDojo的12种注入场景中,四个模型加192次测试的基线攻击成功率从19.3%降至受保护时的0%,四个良性任务零误报。
BaKron 是一种新的神经网络量化求解器,利用 Kronecker 分解的 Hessian 信息做自适应取整。它在 m×n 权重矩阵上把顺序步骤数降到 O(m+n),总工作量从 O(m²n²) 降到 O(mn(m+n)),与 GPTQ 的立方复杂度同级。BaKron 基于 BoA 和 YAQA 的两侧自适应取整框架,并兼容不同基础量化器和 Hessian 估计器。论文给出了多种 Hessian 估计器下的量化效果评测。
AV-AIVAT将方差缩减工具AIVAT与连续监测的置信序列结合,实现随时有效的提前停止。在15个LLM智能体配置、共71,439手HUNL牌局中,AIVAT使方差中位降低54倍。标称95%置信水平、目标精度±1大盲下,原始结果需要中位74倍于AIVAT修正结果的手数才能停止。精确有限样本认证采用Empirical-Bernstein置信序列,需独立推导修正收益的上界;HUNL描述性运行显示中位停止时间比为1.37倍。
PRISM是一种无GAN的流匹配框架,用逐特征门控取代全局噪声控制,决定每张图像要改什么、留什么。门控的空间先验来自源特征到目标特征分布的标准化距离,特征远离目标分布时被放开,接近时则保留。在AFHQ猫到狗、CelebA-HQ外观迁移、昼夜重打光、虚拟染色和乳腺冷冻到永久病理五个基准上,PRISM在四个基准上获得最佳Inception FID和KID,第五个也接近最优。在组织病理学任务中,它的细胞核计数比最接近理想值,兼顾了目标真实感与结构保留。
生成式奖励模型在响应排序上表现出色,但其比较性输出与强化学习要求的标量奖励不匹配。为此论文提出 RRC(Ranking-based Reward Construction),通过相对偏好排序构造奖励信号。RRC 包含自竞争排序和锚定引导排序两种互补策略,分别利用采样响应间的比较和小规模参考响应实现可扩展构造。实验在开放对话和推理基准上验证,RRC 相比现有方法持续提升强化学习训练效果。
Cohere Health使用Amazon Bedrock AgentCore构建了多租户代理架构。该架构采用AgentCore Runtime的MicroVM隔离,并通过AgentCore Gateway统一工具访问。结合AgentCore Memory和Agent Skills标准,Cohere Health实现了临床政策数字化,同时保留版本控制与人工审核。
monday.com 工程总监 Dor Cohen 将在 10 月 13 日的 Interrupt 伦敦大会上分享 LLM 评估系统搭建经验。该系统采用双管道架构,利用 LangSmith 生产追踪数据同时支撑线上与离线评估。大会由 LangChain 主办,更多议程见 interrupt.langchain.com/london。
StarKnightt在GitHub发布Three.js项目,用12000行手写JavaScript程序化生成完整丛林小径。场景包含423.8米长小径、16个物种共100799株植物和536块逐块侵蚀的石块。树叶、树皮、石头、角色皮肤和全部60段音频都在加载时由代码算出,没有一张外部贴图或模型。项目还有22根骨骼的程序化角色,以及通过15次GPU烘焙生成的29张贴图。
佐治亚州立大学研究中心TReNDS基于Amazon Bedrock和开源Strands Agents SDK构建了智能体流水线。该流水线实时自动调查生产错误,将根因分析耗时从人工的15至30分钟压缩到60秒以内。系统利用Strands Agents SDK编排智能体,在Bedrock上调用大模型完成诊断。
当AI Agent给出糟糕回答时,问题往往不在模型而在检索层。向量搜索结果受嵌入、索引类型、量化、元数据过滤等因素影响。IVF、HNSW、DiskANN各有不同权衡,量化提升速度与存储但需检查召回率。Simon Hearne的演讲演示了如何可视化向量搜索,类似SQL的EXPLAIN。调试时建议直接追踪recall@k、观察分数分布、监控过滤命中率。