AITOP

LLMs

共 14 条相关 AI 资讯 · 查看话题观测
8月24日
10:50
10:50官方账号arXiv cs.AI@Yinan Liu, Zihan Zhou, Zichun Jin, Xinyu Wang, Bin Wang, Xiaochun Yang
本文提出PSL框架，将半结构化政治记录转化为LLMs的推理证据，通过提取立场信号和结构信号，在三个真实数据集和多个LLMs上，PSL在预测性政治问答任务中优于基线模型。
论文预测性政治问答LLMs半结构化数据
推荐理由：PSL框架将半结构化数据转化为LLMs推理证据，在预测性政治问答中表现优异，值得一试。
原文
09:57
09:57官方账号arXiv cs.LG@Junseok Kim, Nakyeong Yang, Kyomin Jung
随着代理式AI的兴起，LLMs能够访问多样化的用户数据，引发了隐私问题。本研究引入个性化隐私概念，结合用户特定的披露偏好进行隐私控制。提出P3Bench基准，扩展上下文隐私策略。实验表明，基于提示的策略无法可靠地执行个性化隐私策略，Qwen2.5-7B和Gemma3-4B的平均策略无知率分别为51.25%和74.28%。针对此问题，提出Repair方法，通过调整披露行为以符合策略响应，显著提高对用户特定隐私偏好的遵守率。
论文个性化隐私LLMs注意力头干预
推荐理由：这项研究提出了个性化隐私控制的新方法，通过注意力头干预在LLMs中实现，对于关注隐私保护的用户来说是个好消息，它比现有方法更可靠地保护用户隐私。
原文
04:13
04:13官方账号Simon Willison’s Weblog（博客/媒体）
Drew Breunig指出，在Fable出现之前，优化编码工具似乎没有必要，因为新模型的出现往往能解决大部分问题。然而，Fable的出现虽然令人惊叹，但其高昂的成本使得Opus、5.6、K3和GLM等模型已经足够应对大多数需求。因此，人们开始思考哪些工作应该放在哪里。
论文Drew BreunigClaudeLLM定价
推荐理由：Drew Breunig分享了他对Fable的看法，揭示了免费午餐时代的终结，对于关注LLM定价和AI发展的读者来说，这是一篇值得阅读的文章。
原文
00:33
8月22日
00:38
00:38官方账号Simon Willison’s Weblog（博客/媒体）
精选
Thomas Ptacek提倡为即使是个人工具的最小版本也构建真正的原生用户界面，因为编码代理降低了获得可用GUI的成本。他分享了关于自己编写的带宽和GPU监控macOS任务栏应用程序的经验，并鼓励将CLI转换为原生应用，这可能会改变你的思维方式。
技巧Thomas PtacekAI生成式AI
推荐理由：Thomas Ptacek分享了他的经验，鼓励将CLI转换为原生应用，这是一个值得尝试的改变！
原文
8月21日
12:05
02:03
8月20日
07:16
07:16官方账号Simon Willison’s Weblog（博客/媒体）
杰里米·莫雷尔提出观点，认为大型语言模型（LLMs）为网页可扩展软件带来新机遇；该模型大幅降低开发插件成本，现代沙盒原语保障安全边界；开发者可构建可靠核心应用，让用户借大型语言模型补充功能。
AI模型LLMsExtensible SoftwareJeremy Morrell
推荐理由：杰里米·莫雷尔讲了可扩展软件和大型语言模型的事儿，能帮开发者做新应用，用大型语言模型补充功能，比以前方式方便安全。
原文
7月28日
12:12
12:12官方账号arXiv cs.AI@Zhenhan Gao, Marvin Muñoz Barón, Umm-e Habiba, Daniel Graziotin, Stefan Wagner
一篇针对34名程序员的用户研究发现，在AI代码审查中提供详细解释（条件A）获得最高信任评分（3.99/5），但仅提供审查反馈（条件B）反而获得最高同意率（89.22%），说明更多解释会促使开发者更频繁地质疑AI建议。无解释（条件C）的信任和同意率均最低。解释程度并未显著影响审查耗时。该研究为设计可信的AI代码审查系统提供了实证依据。
论文LLMsCode ReviewXAI
推荐理由：这篇论文告诉你：给AI代码审查加解释，反而可能让人更不听话。详细解释信任高但同意率低，这结论挺反直觉的。
原文
7月15日
02:33
7月14日
12:22
12:22官方账号arXiv cs.LG@Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson
精选
传统参数压缩方法如量化产生码长随模型参数缩放，而prequential coding码长取决于数据熵。本文提出的requential coding使码长独立于参数数和数据熵，通常比prequential短数个数量级。在PAC-Bayes界中，该方法为十亿参数LLM提供了当前最优的泛化保证。实验还发现低熵文本比高熵图像包含更多可学习结构。
论文Requential Coding模型压缩PAC-Bayes
推荐理由：这篇论文提出Requential Coding，码长不跟着模型大小和数据熵跑，比之前的方法短好几个数量级，还给十亿参数大模型给出了最牛的泛化保证。
原文
7月7日
12:14
12:14官方账号arXiv cs.LG@Mohamed Amine Merzouk, Dmitri Carpov, Mirko Bronzi, Damiano Fornasiere, Adam Oberman
该研究通过线性探针在三个7-8B开源模型（如Llama-2、Mistral）的冻结隐藏状态上发现，模型在生成首个token之前即可从提示的最后隐藏状态线性解码总响应长度。探针在七个自然语言数据集上训练后，可迁移至未见过的受控合成数据，且性能优于统计基线。在模型修改回答时，探针的估计值会在回退位置发生方向性偏移，表明模型内部维护了类似计划的长度表示。
论文LLMs线性探针剩余长度
推荐理由：这篇论文发现LLM在生成前就“知道”要写多长，用线性探针就能解码，挺有意思的。
原文
6月29日
06:46
6月11日
02:52