Papers9月19日 01:45

LLM 编程代理带来新安全风险

Gary Marcus@GaryMarcus

Post

Why we picked it

Gary Marcus 和 Nathan Hamiel 说，LLM 编程代理会生成大量不安全的代码，这很危险。

Gary Marcus 和 Nathan Hamiel 在 Substack 上发文指出，使用大语言模型（LLM）的编程代理存在巨大风险，可能导致大量不安全的代码生成。他们强调，这种技术结合可能成为新的安全噩梦。

LLM 编程代理带来新安全风险 — Image · Gary Marcus

Original · Gary Marcus

As @HeidyKhlaaf just pointed out to me, quite rightly, there is also the huge new risk of huge piles of insecure vibe-written code. (See my essay w @nathanhamiel , LLMs + Coding Agents = Security Nightmare, on that score: garymarcus.substack.com/p/llms-coding-… )📊 1 ⚡

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Papers" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI regulation, compliance frameworks, and sovereign compute policy and AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include LLM, 编程助手, AI安全.

Source attribution: curated from Gary Marcus (@GaryMarcus).

#LLM #编程助手 #AI安全

Keep reading

Recent stories with the same tag or section

Papers Builders15:02

Chinese contentBallad：基于多臂老虎机的 LLM 路由方法用于自动启发式发现

这篇论文很实在：跑 AHD 时贵模型不一定赢，用 bandit 动态挑模型，成本最多省 65.6% 还能超过单模型。做组合优化、进化搜索或者想省钱跑 LLM ensemble 的开发者都该看看。

#LLM #多臂老虎机 #组合优化 #AHD

arXiv cs.AI@Samidha Verma et al. (3)Source

Papers Builders15:02

Chinese content研究：用户自适应行为如何影响 LLM 交互系统的评估

评估 LLM 时你可能一直测错了东西：这篇论文证明离线跑基准和线上 A/B 测的根本不是同一个指标，用户适应后模型排名都可能反转。做模型评估、部署选型或实验设计的工程师和研究者应该看看它给出的判断条件。

#LLM #A/B测试 #模型评估 #reward hacking

arXiv cs.AI@Hannah LiSource

Papers Builders15:02

Chinese contentAl-Ghasali：用有限状态自动机约束 LLM 模拟伊斯兰教法裁决

搞约束解码或神经符号结合的人可以看这篇：作者把教法规则编译成有限状态自动机，再用文法约束解码管住 LLM，数学证明能彻底消除决策性幻觉。思路对任何需要 LLM 严格按规则输出、不能瞎编结论的场景都有参考价值。

#LLM #约束解码 #神经符号 #形式化验证

arXiv cs.AI@Elnaserledinellah Mahmoud AbdelwahabSource

Papers Builders15:02

Chinese content双智能体 LLM 流水线实现可扩展的对话式考试系统

口试能逼学生讲清推理过程，但一个老师考不了全班。这篇论文用两个分工的智能体做对话式考试，一个提问一个暗中按 rubric 打分，还专门防提示注入骗答案。做教育产品或评估工具的人可以看看架构设计。

#LLM #双智能体 #教育评估 #AI literacy

arXiv cs.AI@Geoffrey Challen, Craig ZillesSource

Papers Builders14:08

Chinese content研究揭示 LLM 如何在注意力头中编码目标并指导后续行动

这篇论文回答了一个很有意思的问题：模型明明没有记忆机制，怎么在长任务里一直记住目标。作者找到了具体负责的注意力头，还提出了 NRGS 解释，做模型可解释性或 agent 研究的值得看原始论文。

#LLM #注意力头 #可解释性 #NRGS

arXiv cs.LG@Arnab Sen Sharma et al. (10)Source

Chinese contentarXiv 论文：用 LLM 直接生成变分量子电路参数

搞量子计算的朋友可以看看这篇。它测了冻结 LLM 在三种哈密顿量上生成电路参数的效果：结构化问题上有戏，随机问题上不如 Adam 优化。结论很实在，能帮你判断该不该把 LLM 用进变分算法流程里。

#LLM #量子计算 #变分量子电路 #哈密顿量

arXiv cs.LG@Tiago de Souza Farias et al. (6)Source