论文精选17:49信息丰裕悖论:长上下文训练削弱参数化知识这篇论文说长上下文训练反而会让模型记不住知识,上下文越长越依赖临时找资料。想调长上下文的人建议先看看。#长上下文#参数化知识#上下文学习#预训练aarXiv cs.AI@Arda Uzunoglu 等 3 人原文稍后读已读值得跟进有用关注 长上下文
论文官方一手精选01:30‘思考即回忆’:推理如何解锁LLM参数化知识Google用PaLM 2发现,模型不靠堆算力背答案,而是靠推理串起脑袋里分散的知识点。比直接猜准多了。#Chain-of-Thought#PaLM 2#参数化知识#推理机制1 个信源在谈事件专题G官方一手Google Research: Blog2 个信源在谈原文稍后读已读值得跟进有用关注 Chain-of-Thought