#compute efficiency

15 stories · 0 in 7 days · 0 in 30 days

Cerebras 1 GLM-5.3-Flash 1 LoGo 1 PLES 1 Transformer 1 large model training 1 large language models 1

Stories, products and papers tagged "compute efficiency", newest first.

Sep 17

Papers BuildersSelected12:22

Model growth and recursion influence scaling exponents

This research provides a new method to improve the efficiency of large language models, potentially reducing the computational cost of training them.

#compute efficiency

arXiv cs.LG@Zixi Chen et al. (4)Source

Sep 7

Papers Builders78°09:38

Chinese content优化层稀疏性提升大模型训练效率

研究人员发现层丢弃技术能提升大模型训练效率，节省25%计算量，还能加速推理1.5倍。

#large model training #inference optimization #Cerebras #compute efficiency

arXiv cs.AI@Mostafa Elhoushi et al. (9)Source

Sep 2

PapersSelected73°10:07

Power-Law Entropy Search for Hyperparameter Scaling

PLES reduces computational costs for LLM hyperparameter tuning by 90%, making large-scale training more accessible to researchers and companies in resource-constrained environments.

#PLES #Bayesian optimization #large language models #compute efficiency

arXiv cs.LG@Zhiliang Chen et al. (6)Source

Sep 1

PapersSelected73°09:20

LoGo Token-Level Dynamic Attention

LoGo improves long-context performance while reducing computational costs, making it valuable for ASEAN developers working with resource-constrained environments.

#LoGo #Transformer #attention #long context

arXiv cs.LG@Yuqi Pan et al. (5)Source

Aug 26

Models BuildersMulti-source22:54

Chinese contentGLM-5.3-Flash发布，优化编码与长周期智能体任务

GLM-5.3-Flash模型发布，专为高效编码和长周期智能体任务设计，比传统模型更高效。

#GLM-5.3-Flash #agents #compute efficiency

OpenRouter@OpenRouterAISource

Chinese contentRACE：大规模统计评估LLM神经元功能一致性

RACE模型评估LLM神经元功能一致性，计算效率高，值得了解。

#compute efficiency

arXiv cs.AI@Runyu Wang et al. (9)Source

Jul 18

How-to BuildersOfficial19:33

Chinese content控制LLM的推理努力程度

想省算力又不想牺牲推理质量？这篇技术分享教你LLM如何按需切换推理模式。

#LLM #compute efficiency

Primary sourceSebastian Raschka: Ahead of AI@Sebastian Raschka, PhDSource

Jun 19

IndustryMulti-source73°04:31

Chinese contentAnjney Midha：GPU利用率95%即“故障”，AI竞争进入计算网格时代

想知道为什么买更多 GPU 不灵了？Anthropic 是怎么靠文化和准备搞定编码的？AMP 创始人讲得特别透，全是内行视角的干货。

#Anthropic #DeepMind #AMP #GPU

Latent.Space@latentspacepodSource

Jun 18

PapersSelected10:43

Chinese content随机动量方法的计算效率与串行运行时间权衡

这篇论文把HB和ASGD在批量大小上的效率权衡讲清楚了，特别是那个sqrtκ倍的窗口，对想用动量方法加速训练的人很有参考价值。

#HB #ASGD #SGD #compute efficiency

arXiv cs.AI@Depen Morwani et al. (4)Source

Jun 12

PapersSelected73°09:44

Chinese contentPythagoras-Prover：高效形式化证明，4B模型超越DeepSeek-Prover-V2-671B

形式化证明领域终于有了计算高效的实用方案——4B 模型就能超越 671B 巨无霸，做定理证明或形式化验证的团队可以直接用，省下大量算力成本。

#Lean #Pythagoras-Prover #formal verification #compute efficiency

arXiv: DeepSeek@Joshua Ong Jun Leang et al. (8)Source

Papers US vs China09:09

Chinese contentLlama小模型训练动力学研究：固定Token预算下性能先升后降

这篇论文戳破了「更多Token=更好模型」的直觉，做小模型训练或资源受限场景的开发者会看到训练轨迹比终点指标更关键，建议点开看看如何用间隔遥测避免白费算力。

#small language models #compute efficiency

arXiv cs.AI@Joe DwyerSource

Jun 8

Chinese contentSgatlin：稀疏门控线性专家提升Transformer计算效率与可解释性

这项研究用极简设计同时提升了Transformer的计算效率和可解释性，做模型压缩或可解释性研究的团队值得关注，尤其是对MoE稀疏化方向感兴趣的开发者可以看看。

#Transformer #interpretability #compute efficiency

arXiv cs.LG@Simon SchugSource

Jun 2

Chinese contentPINN残差引导自适应网格细化，提升有限差分求解器效率

做偏微分方程数值模拟的团队，可以用PINN残差替代传统误差估计器来指导网格自适应，显著节省计算资源——60个自由度就能达到192个自由度的精度，值得在工程仿真中试试。

#physics-informed neural networks #compute efficiency #PINN

arXiv cs.LG@Henry Kasumba, Ronald KatendeSource

May 29

PapersSelected11:05

Chinese contentRiM：用内存块解锁大模型潜在推理能力

RiM 解决了自回归推理计算效率低的问题，做模型推理优化的研究者可以直接参考其两阶段训练方法。

#reasoning models #compute efficiency #RiM

arXiv cs.AI@Lukas Aichberger, Sepp HochreiterSource

May 21

PapersSelected09:46

Chinese contentDABS：单次编码、深度选择性读取的多方面情感分析框架

做情感分析或文本分类的团队，DABS 用单次编码解决了多方面的计算冗余问题，直接复用编码结果能省 60% 算力，建议试试这个轻量方案。

#compute efficiency #open-source and repositories

arXiv cs.AI@Yan Xia et al. (4)Source