GPT-2 相关 AI 资讯

8月7日

12:25

官方账号arXiv cs.LG@Iosif Lytras, Nikolaos Makras, Sotirios Sabanis

精选

研究者提出次梯度驯化非调整朗之万算法（SG-TULA），用于处理势函数非光滑、超线性梯度增长且非凸的采样问题。该算法直接操作次梯度，无需计算昂贵的平滑步骤，并采用驯化技术保证显式格式稳定。在Wasserstein-2距离下推导了非渐近收敛界，所有常数随维度和逆温度显式给出，优于现有次梯度类朗之万算法。作者在GPT-2系列LLM的正则化预训练势上验证了假设，并展示SG-TULA的坐标提升变体在预训练中可与微调后的AdamW和Muon竞争。

推荐理由：新采样算法SG-TULA能处理非光滑非凸问题，在GPT-2预训练上干赢了AdamW和Muon，还带理论保证。

原文

8月6日

11:43

官方账号arXiv cs.LG@Tongle Wu, Huanyu Dong, Ying Sun, Ziye Ma

MALT在Muon基础上加入轻量对角预条件器，以感知损失曲率并降低对曲率各向异性的敏感度。它使用Newton-Schulz迭代正交化预条件后的动量，并通过范数嫁接控制更新幅度。进一步提出的MALTER通过自适应步长重缩放提升对随机梯度噪声的鲁棒性。在GPT-2 Small、Medium、Large预训练实验中，MALT和MALTER均优于Muon，且内存占用和耗时几乎不变。

论文 MALT Muon GPT-2

推荐理由：MALT优化器给Muon加了轻量对角预条件，在GPT-2上比Muon更快更好，内存几乎没增加，适合大模型预训练。

原文

8月5日

11:58

官方账号arXiv cs.LG@Chuanhao Yan, Xuhan Huang, Yawen Duan, Zhenfei Yin, Hang Zhao, Bryan Dai, Jie Fu

论文提出稀疏权重分解（SWD），将预训练模型的每个权重矩阵分解为两个稀疏因子，中间坐标作为可寻址电路单元。SWD不需要训练替代网络，在单矩阵替换实验中以不到基线1%的数据量达到与Transcoder等持平的保真度。在GPT-2、Qwen2.5和Qwen3.5-27B上，SWD用更少的读写边和选中单元达到相同电路充分性与必要性目标。SWD还支持微调后全模型替换，并提供零数据变体用于逐步机制可解释性分析。

论文 SWD Transcoder GPT-2

推荐理由：SWD用不到1%数据就能达到Transcoder的保真，GPT-2、Qwen2.5都能跑。

原文

7月21日

09:47

官方账号arXiv cs.LG@Zhihua Liang

精选

该论文提出一个连续几何框架，将Transformer的离散代数操作建模为语义纤维丛上的积分-微分方程，涉及RMSNorm、RoPE、Softmax Attention等组件。实验覆盖Qwen3、LLaMA-3.1、Gemma-3、GPT-2、Mistral五种架构，参数规模从124M到8B。几何预测与实证一致：Lipschitz缩放校准精度达R²=1.000，且验证了Poincaré递归的热力学抑制、上下文极限相变等六个现象。

论文 Transformer架构微分几何 Qwen3

推荐理由：用微分几何重新理解Transformer，给出了注意力机制是薛定谔桥、SGD是违反细致平衡的伊藤扩散等新视角，并有大模型实测验证。

原文

7月17日

11:04

官方一手arXiv: OpenAI@Summer Chambers, Matthew C. Kelley

一项新研究分析了约60,000条Reddit帖子，分为“可能自闭症”和“普通Reddit”两个子语料库，使用OpenAI GPT-2检测模型计算文本被判定为AI生成的概率。结果显示，虽然两个子语料库中被标记为AI生成的比例均低于2%，但“可能自闭症”子语料库中被标记的文本比例显著更高。研究进一步比较了文本特征，发现自闭症写作与AI生成文本的特征关联并不简单。作者呼吁对AI检测模型在学术和日常使用中的潜在偏见进行伦理审查和更深入的批判性研究。

论文 GPT-2 AI检测自闭症

推荐理由：这篇论文发现OpenAI的GPT-2检测器对自闭症写作者有统计上显著的偏见——误判率虽低但差异存在。如果你关心AI公平性，值得看看。

原文

7月16日

11:31

官方一手arXiv: OpenAI@Minh Hua, Rita Raley

2019年OpenAI发布两百万GPT-2输出以检测机器生成文本，但这些输出不完整且含语法错误。论文认为当前对齐技术（损失函数、奖励模型、基准测试）只是优化文化的最新表现，无法区分低概率文本是错误还是创新。批评者指出这种优化范式在五年内取得了合法语言的裁判权，却缺乏判断力。

论文 GPT-2 OpenAI 生成文本检测

事件专题

推荐理由：这篇论文点出了一个关键问题：AI生成文本的优化可能走偏了，不只是工程进步，还牵扯价值观判断。适合想理解技术背后隐患的人。

原文

7月15日

09:01

官方一手arXiv: OpenAI@Minh Hua, Rita Raley

2019年OpenAI发布了200万个GPT-2的不完整输出以辅助检测机器生成文本。作者将后续的对齐技术视为优化文化的新表现，认为它继承了那种相信可测量改进能穷尽价值问题的信念。通过追溯预训练、解码、偏好调优、基准测试和接口中的优化逻辑，论文指出优化过程能衡量生成文本的不可概率性，却无法区分这种反常是错误还是创新。然而在过去五年内，这一缺乏判断能力的优化机制已取代学术和语法机构，掌握了设定合法语言协议的权威。

论文 OpenAI GPT-2 语言模型

事件专题

推荐理由：这篇论文从GPT-2讲到对齐，批评优化文化把语言判断交给了损失函数，值得所有做AI的人反思。

原文

6月24日

12:00

官方账号arXiv cs.AI@Adhitya Charan, Adwaid Suresh, Anuj Kumar, Aparna A, Dhanakumar K, Dharun M S, Dinesh G, Goutham Kumar Reddy K, Harshini V M, Jenifa D, Jona Delcy C A, Kathirvel S, Killi Uma Maheswara Rao, Kiruthik Kanna M, Kurra Vishnu Sai, Madhumithaa G K, Navin Kumar, Ram Charan Golla, Revathi T, Rishikkanth R, Sanjay Krishna M, Surendra Vendra

BluTrain是一个用标准C++和CUDA实现的AI训练框架。在8-GPU 6000 Ada系统上训练124M参数GPT-2模型（FP32），其吞吐量达407K tokens/s，比PyTorch的395K tokens/s高约3%。同时内存占用减少22%，且严格保持数值精度。框架包含原生实现的张量模块、反向模式自动微分、线性代数库、缓存分配器、分布式执行和MLIR编译器。

AI模型 BluTrain C++/CUDA GPT-2

推荐理由：这个新框架用C++从头写，训练GPT-2比PyTorch快3%且省内存22%，适合追求极致性能的开发者。

原文

11:40