想看看AI能不能识破谎言?这篇论文用4个模型做了近4万次测试,结论是准确率跟人差不多,但不同理论引导下AI的倾向差异很大。
Latest
这篇论文出个黑盒诊断,看LLM集体输出分散时是不是真改观点,结果GPT和Gemini相反:Gemini 94%在复读,GPT 24%。
这个TwT框架让翻译模型根据难度动态调整思考量,7B和14B的小模型打过大模型,token还省了30%到60%,做多领域翻译的可以看看。
想了解提示语言怎么影响代码生成质量?这篇实测了GPT-4o mini、DeepSeek和Claude在多种语言下的表现,结果英文不一定最好。
这篇论文解决了AI agent过度读取文件的问题,E3方法能自动判断任务简单就少干活,在MSE-Bench上省了85%成本,效果很实在。
这篇论文用30条提示微调开源模型,让建筑冷负荷调度排放从70.5降到61.2,逼近最优,比GPT-4o强得多。
这篇论文把EffiBench、EvalPerf等流行代码性能基准的漏洞全翻出来了——1538个任务里只有6%能真正测出差异。他们搞了个多智能体框架自动生成更刁钻的测试,效果直接翻四倍。
用贝叶斯方法修LLM当裁判时的废话偏好和位置偏差,实测召回从0.5拉到接近1,比直接投票靠谱多了。
这篇论文用BOUNDARY_SYNC协议发现LLM智能体交流越多想法越趋同,对设计多智能体系统很有启发。
用真实非洲场景测了5个主流VLM,发现Gemini和Qwen在车牌识别上比YOLO+OCR更准,有数据有对比。
这篇论文搞了个标准协议EPC,专门用来测LLM代理系统里评估器偏好怎么耦合的,还附带了GPT-4o、Qwen、DeepSeek等8个评估器的大规模实测数据,方便你复现和对比。
这篇论文发现了一个简单规律就能检测AI Agent的记忆中毒攻击,准确率高达99%,还能区分不同攻击类型,非常实用。
这篇论文实打实比较了GPT-4o、Mistral和DSIT-Taxonomies在提取基金提案实体上的能力,Mistral准确率90.5%碾压对手,做科研数据挖掘的可以看看。
这篇论文告诉你,你以为可靠的GPT-4o评估器可能几周后就失效了,它还给了你一个EPC框架来自己检查。
零样本GPT-4o当教育顾问爱多管闲事?实测误报率43%,换成Decision Transformer或XGBoost就能准到几乎零误报。
想了解多智能体LLM之间怎么互相影响输出?这篇论文给出了可量化框架CAF,还拿DeepSeek和GPT-4o-mini做了实验,能看到图像条件会放大耦合效应。
想了解AI如何从人际关系中识别心理健康问题?这篇论文用Reddit数据建了专门基准,挺实在。
麻省理工用67人做了4周实验,发现依赖ChatGPT越久,你自己辨别假新闻的能力反而下降15%——别把脑子外包给AI。
这篇论文用43200次测试发现,五个主流LLM在日文简历上全有亲女性偏见,改提示没用,删名字才行,看清AI招聘的坑。
想知道AI能不能像人一样在危险场景下抓住关键区域?这篇论文用GPT-4o、Gemini Pro等模型做了对比,发现它们不靠眼动训练数据就能大致预测人类注视点。
想让你家机器人找到干洗店?BinTrack用开源VLM做空间问答,性能追平GPT-4o还更快,代码数据全公开。
这篇论文用实验告诉你,临床AI回答EHR问题时,推理步骤越多越容易翻车。Claude、GPT-4o和GPT-5.4都逃不过,部署前得重点防多步推理。
这篇论文用GPT-4o和DeepSeek-chat做实验,发现AI自我评估时策略偏好会崩坏,还跨模态传染,数字很硬核,搞多模态和智能体的值得看。
这项研究揭示了LLM在立场检测中的系统性错误模式,对做NLP评估和模型优化的团队有直接参考价值——SICI指数可以帮你快速识别模型在哪些样本上会失效,建议做立场检测或模型鲁棒性研究的点开看看。
声音克隆技术正在模糊真实与合成的边界,法律界和AI从业者都需要了解现有保护框架的不足。这篇文章梳理了三种法律路径的适用性,做AI产品合规或研究人格权保护的读者值得一读。
代码安全团队和开发者面临LLM分析带来的知识产权泄露风险,Acoda提供了一种实用的防御手段,建议关注其混淆方法如何平衡安全性和代码可用性。
这项研究揭示了LLM在跨语言场景下的行为偏差可能影响外交决策,做AI安全或国际关系应用的团队值得关注,尤其是使用多语言模型的开发者。
手机智能体开发者终于有了能测试个性化能力的基准——iOSWorld要求模型理解用户身份与历史,而非仅执行孤立指令,做移动端AI Agent的团队值得关注。
做 AI 社会影响研究或产品策略的团队,这篇论文提供了用社交媒体数据实时监测公众情绪的方法论,比传统调查更及时,值得参考。
做Agent系统或API设计的开发者,这个方案直接解决了Agent调用API时频繁失败、需要人工介入的痛点——用结构化建议代替自然语言错误,让Agent自己就能修复重试,实测效果显著,建议直接参考其设计思路。
这项研究揭示了LLM作为攻击者的行为规律和可靠性差异,做AI安全评估或红队测试的团队值得关注——它告诉你不同模型在真实攻击场景下的稳定性和失败模式,直接指导模型选型和防御策略。
AI研究者或实验设计者注意了:模型版本差异可能显著影响结论,使用最新智能体工具能放大效果,建议在论文中明确标注模型版本。
做自动化科研或 AI 辅助创新的研究者,可以试试用引文关系图替代静态检索来激发 LLM 的创意,GoR 直接开源了数据和微调方法。
这篇论文揭示了 LLM 推荐中的赞助偏见,并提供了一个极简的对抗方法——用 30 token 提示词就能大幅降低推荐偏差。做 AI 安全、推荐系统或 LLM 应用的开发者值得一看,可以直接复现实验。
做AI安全和对齐的研究者、模型微调工程师值得关注——这项研究用两个量化指标揭示了有害微调如何让模型角色扮演能力崩溃,比单纯看输出内容更早发现问题。建议点开看看指标计算方法。
安全工程师和渗透测试人员可以借鉴RADAGAS和RefleXQLi的思路,自动化生成对抗性SQL注入payload来评估自家WAF的盲区,尤其是AI/ML型WAF的脆弱点值得重点关注。