Chinese contentSPARC 方法:用代表性向量提升光子矩阵乘法推理精度
光子加速器省电但精度老是上不去,这篇论文的办法挺聪明:相似的激活向量挑一个代表算高精度,剩下的残余交给光子算,噪声影响就小多了。不用改硬件,六个模型上都验证有效,做模拟计算硬件的工程师可以看看。
光子加速器省电但精度老是上不去,这篇论文的办法挺聪明:相似的激活向量挑一个代表算高精度,剩下的残余交给光子算,噪声影响就小多了。不用改硬件,六个模型上都验证有效,做模拟计算硬件的工程师可以看看。
这篇论文搞了个叫CARP的机制,不用知道真相就能让爱撒谎的AI商家少卖货,配上SPARC效果更好,挺有意思。