AITOP

文本生成

共 20 条相关 AI 资讯
8月25日
10:11
10:11官方一手arXiv: Anthropic@Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv
XTC模型通过排除高概率选择，提高生成文本的多样性。在Gemma 3和DeepSeek模型上实验表明，XTC在创意生成方面提升显著，Distinct-2增加11-15%，重复三元组减少27-47%。XTC已被多个文本生成工具采用。
AI模型XTC模型文本生成多样性提升
推荐理由：XTC模型通过排除高概率选择，显著提升了文本生成的多样性，对于需要创意文本生成的应用来说是个不错的选择。
原文
8月21日
11:09
11:09官方账号arXiv cs.LG@Lohithsai Yadala Chanchu, Hany Abdulsamad, Christian A. Naesseth
本研究针对离散扩散语言模型的文本生成推理时间控制，旨在引导采样向序列级奖励发展，无需重新训练。通过嵌套蒙特卡洛方法解决现有粒子方法如best-of-n采样和bootstrap SMC的过度优化和权重退化问题。NSMC和FA-NSMC在毒性和流畅性引导任务上优于best-of-n和bootstrap SMC。
论文嵌套蒙特卡洛方法离散扩散语言模型文本生成
推荐理由：这篇论文提出了嵌套蒙特卡洛方法在离散扩散语言模型推理时间控制中的应用，对于想要了解如何优化文本生成模型的人来说是个好资源。
原文
7月28日
19:14
7月24日
10:28
10:28官方账号arXiv cs.AI@Federico Boggia
论文发现大语言模型系统性过度使用两千年前的修辞格epanorthosis（如“这不是课程，而是蜕变之旅”），归因于训练数据中促销文案和RLHF偏好调优。作者提出Epanorthosis Index（密度与人类基线之比），在三种规模的指令微调模型上测量：或atory场景下模型超用约2倍（意大利语近3倍），非正式问答中欠用，而议论文、新闻和百科文本与人类持平。缓解方案包括轻量LoRA适配器，在意大利语中单行指令即可削减一半至四分之三，SFT适配器可几乎消除。
论文LLMRLHFLoRA
推荐理由：这篇论文揭示了LLM中一种不易察觉的修辞滥用，并给出了具体测量和缓解方法，适合关注模型文本风格和RLHF影响的读者。
原文
7月18日
03:30
7月17日
03:09
7月12日
17:44
7月7日
11:18
11:18官方账号arXiv cs.AI@Xuyang Chen, Xiang Li, Yangxinyu Xie, Qi Long
现有LLM水印方法有零位方案（区分文本是否为AI生成）和多比特方案（嵌入元数据），但多比特方案无法选择性披露——验证任何部分必须揭示整个信息，导致隐私泄露。论文提出分层词汇路由（HeRo）框架，递归划分词汇表并将水印信息分布到层次化层中，不同验证者仅能解码其权限对应的载荷。实验表明HeRo在保持文本质量（无偏采样）的同时支持细粒度访问控制，并实现高检测准确率和低延迟。代码已开源在GitHub。
论文HeRoLLM水印选择性披露
推荐理由：这篇论文解决了一个实际问题：LLM生成文本的水印如果只能全量披露会泄露隐私。HeRo允许你只给特定验证者看部分信息，像权限分级一样，挺巧妙的。
原文
6月11日
11:25
11:25小互@imxiaohu
78°
Google 开源了 DiffusionGemma，一种基于扩散架构的语言模型，区别于逐词生成的 Transformer，它能一次性生成 256 个 tokens 的整块文本，再通过多轮迭代逐步优化。在 H100 上推理速度可达 1000+ tokens/s，RTX 5090 上 700+ tokens/s，26B 参数模型仅需 18GB 显存。其生成过程类似写草稿后反复修改，能自动修正前文错误，提升输出质量。这一开源模型为需要高吞吐、长文本生成的场景提供了新选择。
AI模型GoogleDiffusionGemma扩散模型
事件专题
推荐理由：DiffusionGemma 解决了 Transformer 逐词生成速度慢、无法回头修改的痛点，做文本生成或长内容创作的开发者可以直接在消费级显卡上跑，体验 1000+ tokens/s 的生成速度。
原文
06:50
06:50berryxia@berryxia
78°
Google 发布 DiffusionGemma，一种基于扩散模型的新型文本生成模型，速度可达 1000+ token/s，是传统自回归模型的 4 倍。它摒弃了逐词生成的方式，而是通过并行起草、纠错和精炼整段文本，实现高速生成。模型已以 Apache 2.0 协议开源，权重在 Hugging Face 上可获取，18GB 消费级显卡即可本地运行。该模型在代码、数学和复杂编辑任务上表现优异，支持实时补空、格式化和自我修复。这一发布可能颠覆文本生成的范式，从串行生成转向并行炼句。
AI模型扩散模型文本生成开源/仓库
推荐理由：DiffusionGemma 把文本生成速度拉到 4 倍，还彻底开源，做本地部署或加速日常 workflow 的开发者可以直接拖权重玩。
原文
02:55
01:33
00:39
00:39官方账号Google DeepMind@GoogleDeepMind
Google DeepMind 推出实验性开放模型 DiffusionGemma，采用块级文本生成技术，不再逐词预测，而是同时生成整段文本。该模型在专用 GPU 上输出速度提升高达 4 倍，并能实时自我修正和格式化复杂 Markdown。这标志着文本生成范式的转变，尤其适合需要快速、高质量输出的场景。
AI模型DiffusionGemma文本生成块级生成
推荐理由：做文本生成或需要快速格式化 Markdown 的开发者，可以试试这个块级生成模型，速度提升明显且能自我纠错，值得关注。
原文
00:33
5月27日
10:49
10:49官方账号arXiv cs.LG@Yuchen Liang, Ness Shroff, Yingbin Liang
精选
离散扩散模型在文本和符号领域表现优异，但均匀率模型生成样本时通常需要大量步骤。现有加速方法要么需要额外训练，要么混合速度慢。本文提出Gibbs加速离散扩散（GADD），利用具体分数函数结构直接构建Gibbs后验似然，无需额外训练。GADD实现了O(polylog(ε^{-1}))的采样复杂度，是均匀率离散扩散模型的首个此类理论保证。实验表明，GADD在合成数据、零样本文本生成和条件音乐生成中，显著提升了样本质量和计算效率，优于标准基线方法。
论文离散扩散模型Gibbs校正器采样加速
推荐理由：离散扩散模型加速一直是个难题，GADD用Gibbs校正器实现了理论最优采样复杂度，做生成模型的研究者可以直接参考其方法。
原文
5月23日
09:53
09:53官方一手Hugging Face: Blog（博客/媒体）
精选
NVIDIA 发布了 Nemotron-Labs 扩散语言模型，该模型采用扩散机制替代传统的自回归生成方式，大幅提升文本生成速度，接近光速。与 GPT-4 等模型相比，Nemotron-Labs 在保持生成质量的同时，推理速度提升了一个数量级。该模型在多个基准测试中表现出色，尤其适合需要低延迟的实时应用场景。这一突破可能改变大语言模型的部署范式，让文本生成更接近实时交互。
AI模型扩散模型文本生成NVIDIA
事件专题
推荐理由：NVIDIA 的扩散语言模型将文本生成速度推向新高度，做实时对话或低延迟应用的开发者可以直接关注，它可能改变你对大模型推理速度的认知。
原文
5月19日
12:01
12:01Geek@geekbb
72°
阿里巴巴通义千问团队发布了 Qwen 3.7 预览版，包括 Max 和 Plus 两个版本，已在 LMSYS Arena 上线。该模型在文本和视觉任务上表现强劲，使阿里在 Arena 文本榜单升至第6、视觉榜单升至第5。官方表示完整系列模型即将发布，值得期待。
AI模型QwenArena多模态
推荐理由：Qwen 3.7 预览版在 Arena 上表现亮眼，阿里排名大幅提升，做多模态或文本生成的应用开发者可以关注后续正式版发布。
原文
5月15日
23:12
23:12官方账号AlphaSignal@AlphaSignalAI
精选73°
研究人员提出Embedded Language Flows方法，让扩散模型在文本生成任务上仅需传统方法十分之一的数据量即可达到更优性能。该方法全程在连续嵌入空间操作，仅在最后一步将向量转换为单词，无需单独的解码器。通过预测干净嵌入而非噪声，并在训练中应用无分类器引导，该方法在语言基准测试中困惑度更低，并在翻译和摘要任务上超越自回归模型。这一成果挑战了“连续扩散在语言领域行不通”的普遍认知。
论文扩散模型文本生成连续嵌入
推荐理由：扩散模型终于能高效处理文本了，做NLP或生成式AI的团队可以关注这个新范式——数据需求降低10倍，性能反而更好，值得一试。
原文
5月13日
00:33
00:33官方一手MiniMax: News（资讯）
MiniMax 在其官网展示了最新模型和产品的更新，包括文本模型 MiniMax M2.7 (NEW)、语音模型 MiniMax Speech 2.8 (NEW)、视频模型 MiniMax Hailuo 2.3 / 2.3 Fast (NEW) 以及音乐模型 MiniMax Music 2.6 和 2.5+ (NEW)。此外，AI 原生应用 Agent 也被标注为新产品状态。这些更新表明 MiniMax 正在快速迭代其多模态 AI 能力，涵盖文本、语音、视频和音乐生成领域。对于开发者和企业用户，这意味着可以通过开放平台获得更先进的 AI 能力，用于构建多样化的应用场景。
AI产品MiniMax多模态文本生成
推荐理由：此次更新体现了 MiniMax 在 AI 多模态领域的持续投入，特别是 M2.7 和 Speech 2.8 的推出可能带来文本理解和语音合成性能的提升，值得关注其在开放平台上的实际表现。
原文
5月11日
22:16
22:16AK@_akhaliq
该论文提出了一种连续潜在扩散语言模型（Continuous Latent Diffusion Language Model），将扩散模型应用于语言建模的潜在空间。与传统自回归模型不同，该方法在连续潜在空间中进行迭代去噪，可能提升生成质量和效率。论文展示了模型在文本生成任务上的初步结果，为语言建模提供了新的研究方向。这一工作将视觉领域成功的扩散模型扩展到自然语言处理，具有重要的理论意义和实践潜力。
论文扩散模型语言模型论文
推荐理由：这是扩散模型应用于语言建模的又一探索，为NLP领域提供了非自回归的新思路，值得关注其在文本生成和编辑等场景的后续进展。
原文