08:58IT之家(博客/媒体)精选72°英伟达宣布Groq 3 LPX机架全面量产,预计今年晚些时候上线。该机架集成500MB高速SRAM,由三星制造,英伟达GPU由台积电生产。Groq 3 LPX机架每秒可处理3400个Token,与Vera中央处理器和Rubin图形处理器一起部署在Nebius平台。行业英伟达Groq 3 LPX低延迟推理推荐理由:英伟达推出Groq 3 LPX机架,性能强大,适用于编程场景,与Vera Rubin和Rubin图形处理器协同工作,是低延迟推理领域的有力竞争者。原文稍后读已读值得跟进有用关注 英伟达
11:42官方账号arXiv cs.LG@Liang Su论文提出execution-state capsules,一种图绑定的检查点与恢复机制,能保存KV缓存、循环状态、卷积状态等完整执行状态。基于此实现的FlashRT运行时在RTX 5090上,恢复操作亚毫秒级,TTFT相比冷预填充在2k tokens时加速3.9倍,16k tokens时加速27倍。在Jetson AGX Thor和DGX Spark上保持相同正确性和结构特性。该方法不取代高吞吐KV缓存服务,而是为显式执行状态复用提供互补的低延迟方案。论文Execution-State CapsulesFlashRT设备端AI推荐理由:FlashRT用执行状态胶囊实现了亚毫秒级恢复,比传统KV缓存多保存循环状态,对交互式AI和机器人很关键。原文稍后读已读值得跟进有用关注 Execution-State Capsules