全部 AI 动态 · AI 热点

6月24日

12:00

12:00

arXiv cs.AI@Adhitya Charan, Adwaid Suresh, Anuj Kumar, Aparna A, Dhanakumar K, Dharun M S, Dinesh G, Goutham Kumar Reddy K, Harshini V M, Jenifa D, Jona Delcy C A, Kathirvel S, Killi Uma Maheswara Rao, Kiruthik Kanna M, Kurra Vishnu Sai, Madhumithaa G K, Navin Kumar, Ram Charan Golla, Revathi T, Rishikkanth R, Sanjay Krishna M, Surendra Vendra

BluTrain是一个用标准C++和CUDA实现的AI训练框架。在8-GPU 6000 Ada系统上训练124M参数GPT-2模型（FP32），其吞吐量达407K tokens/s，比PyTorch的395K tokens/s高约3%。同时内存占用减少22%，且严格保持数值精度。框架包含原生实现的张量模块、反向模式自动微分、线性代数库、缓存分配器、分布式执行和MLIR编译器。

AI模型 BluTrain C++/CUDA GPT-2 训练框架性能优化

推荐理由：这个新框架用C++从头写，训练GPT-2比PyTorch快3%且省内存22%，适合追求极致性能的开发者。

11:40

11:40

arXiv cs.LG@Jinghan Wang, Feng Cheng, Wentao Wu, Hang Li, Gaoliang Peng, Tianchen Liu

该论文提出一种知识引导的两阶段迁移学习框架，核心是一个轻量级GPT-2风格Transformer，利用因果自注意力从振动信号中分层提取特征。框架通过多源预训练学习通用表示，并借助原型知识调制和分类自适应实现跨域迁移。在4个真实数据集上，仅用10%标签数据即达92.61%平均准确率，比现有最佳方法高17.24个百分点。该方法为工业4.0低成本预测性维护提供了可行方案。

论文 GPT-2 Transformer 轴承故障诊断迁移学习小样本学习

推荐理由：这篇论文把GPT-2用在轴承故障诊断上，只用10%的标签数据就比SOTA高了17个百分点，工业场景下很实用。

6月18日

10:57

10:57

arXiv cs.LG@Amiri Hayes, Belinda Li, Jacob Andreas

研究者提出用程序合成方法反向工程Transformer注意力头。他们先计算注意力矩阵，再让预训练语言模型生成Python程序来重现注意力模式。在GPT-2、TinyLlama-1.1B和Llama-3B上，不到1000个程序实现了平均IoU>75%。替换25%的注意力头仅导致16%的困惑度增加，并在下游问答基准上保持性能。

论文 GPT-2 TinyLlama Llama-3B 可解释性注意力机制

推荐理由：这篇论文用Python程序解释了注意力头怎么工作，还能直接用程序替换掉原始头，精度很高，想看模型内部机制的可以读。

6月16日

20:46

AITOP6月16日 20:46

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

6月12日

12:57

AITOP6月12日 12:57

Claude代码里藏了个20260612，18个月后的AI记忆革命已经开始倒计时

6月11日

15:28

AITOP6月11日 15:28

1107 vs 303：谷歌悄悄开源了一个“拆打字机”的模型，把大模型速度翻了4倍

15:23

AITOP6月11日 15:23

DiffusionGemma颠覆文本生成？自回归模型的“统治”要结束了

15:07

AITOP6月11日 15:07

每秒1107个token，Google开源的扩散模型为什么能改变本地推理格局？

6月4日

10:39

10:39

arXiv cs.AI@Andhika Bernard Lumbantobing, Hokky Situngkir

精选

该研究借鉴印尼GASING算术教学法，将左到右的计算步骤序列化为自然语言思维链（CoT）监督数据，训练了一个86M参数的GPT-2模型。模型仅使用下一个词预测目标，无需强化学习或奖励优化，在保留问题上达到80%以上准确率，性能可与更大模型竞争。通过注意力掩码、残差流探测等机制分析发现，模型先内化程序化路径，随后发展出类似心算的关联检索能力。这项工作表明，基于教学法的针对性训练能以较小规模实现强算术能力。

论文算术推理思维链CoT 教学法 GPT-2 小模型

推荐理由：做小模型算术推理的团队可以借鉴这种教学法思路——用人类教学步骤替代复杂强化学习，86M参数就能达到大模型水平，值得一试。

5月18日

00:40

00:40

AlphaSignal@AlphaSignalAI

精选

Transformer Explainer 是一个免费的开源互动工具，通过浏览器运行 GPT-2 模型，实时展示文本生成的全过程。它提供实时推理、可视化步骤图和温度滑块，让用户直观看到嵌入、注意力头和最终 token 排名。该工具使用 ONNX runtime 和 HuggingFace 在本地运行，前端基于 Svelte 和 D3 动画。对于想理解 Transformer 工作原理的开发者、学生和 AI 爱好者来说，这是一个极佳的学习资源。

AI产品 Transformer GPT-2 可视化工具开源 AI 教育

推荐理由：这个工具把 Transformer 的黑箱彻底透明化了，做 AI 学习或教学的人可以直接上手体验，比看论文直观一百倍。