Chinese contentSPARC 方法：用代表性向量提升光子矩阵乘法推理精度
光子加速器省电但精度老是上不去，这篇论文的办法挺聪明：相似的激活向量挑一个代表算高精度，剩下的残余交给光子算，噪声影响就小多了。不用改硬件，六个模型上都验证有效，做模拟计算硬件的工程师可以看看。
#model inference
5 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "model inference", newest first.
Nov 13
Oct 13
Chinese contentGoodfire 谈模型可解释性：书面推理之外还需"脑扫描"
Goodfire 的首席科学家上播客聊模型内部机制，讲清了为什么看模型的书面推理还不够，得直接扫内部状态，感兴趣可以听听。
Jul 9
Chinese content简单Pi Harness在Opus和GPT 5.5上实现2倍成本节省
你知道吗？换个简单的工具就能把成本砍半，效果还不打折！Pi harness让Opus和GPT 5.5的推理省钱又高效，值得一试。
Jun 12
Chinese contentLoopcraft：堆叠循环的艺术——Peter Steinberger、Boris Cherny 和 Andrej Karpathy 的洞见
Loopcraft 揭示了 AI 编程中一个被低估的优化技巧——堆叠循环能显著提升模型推理和代码生成质量，做 AI 应用开发的团队值得深入研究。
Jun 6
Chinese content美国企业AI成本飙升，DeepSeek成B2B市场新宠
AI成本失控让美国企业转向中国模型，DeepSeek的降价策略直接击中痛点，做企业采购或AI预算管理的团队值得关注这个趋势。
IT之家Source