01:30Google Research: Blog(资讯)精选Google Research提出'Thinking to Recall'假设,认为链式思维(Chain-of-Thought)推理的本质是组合LLM参数中分散存储的知识片段。基于PaLM 2模型的实验显示,在GSM8K和MATH等数学推理基准上,推理步骤让模型更有效地调用习得的知识。该工作揭示了注意力机制在定位和整合参数化知识过程中的关键作用。论文Chain-of-ThoughtPaLM 2参数化知识推理机制知识检索1 个信源在谈推荐理由:Google用PaLM 2发现,模型不靠堆算力背答案,而是靠推理串起脑袋里分散的知识点。比直接猜准多了。原文
10:33arXiv cs.LG@Ali Sarabadani, Mahtab TajvidiyanDYNA是一个轻量级框架,通过整合时间知识图来增强冻结的LLM。该图将事件作为节点、时间关系作为带时间戳的有向边,作为外部可更新记忆。在查询时,DYNA通过随机游走和中心性度量检索相关节点,然后增强LLM的响应。在三个时间回忆任务上,DYNA相比微调减少约7%的灾难性遗忘,相比标准RAG提升约5%的时间排序准确性。实验发现,更高的图聚类系数与更好的检索性能相关。论文DYNALLM时间知识图知识检索推荐理由:这篇论文提出DYNA,用时间知识图给LLM加外挂记忆,不用重新训练就能减少遗忘,比微调和RAG都更准,适合看重时效性的应用。原文
12:49arXiv cs.AI@Hudson de Martim精选本文指出,检索增强生成(RAG)在法律AI中的失败并非简单的模型幻觉,而是概率检索与法律知识层次、时间性和制度结构之间的架构不匹配。作者从法律理论出发,提出法律知识具有层次性、动态性和因果可追溯性三个本体论属性,并对应识别出三种检索病理:整体性盲视、历时性盲视和因果不透明性。通过分析现有方法,作者认为它们未能将这些要求视为共同构成性因素,并提出了四个确定性设计方向:本体优先、事件具体化、双时正确性和确定性交互协议。该框架主要关注法律规范适用问题,而非下游任务。论文RAG法律AI知识检索架构分析确定性设计推荐理由:法律AI从业者终于有了一个严肃的理论框架来理解RAG的失败原因——不是模型不够大,而是检索架构与法律知识的本质不匹配。做法律科技或合规自动化的团队,建议仔细读读这篇,能帮你避开很多坑。原文