消息推送“睡眠”框架:大语言模型在持续学习中保留知识的一种新途径 | Google Research3小时前“睡眠”框架:大语言模型在持续学习中保留知识的一种新途径 | Google Research🌐 链接: https://linux.do/t/topic/3087522🏷️ 分组: LinuxDo论坛🕒 时间: 2026-10-28 20:15:23 LINUX DO “睡眠”框架:大语言模型在持续学习中保留知识的一种新途径 | Google Research [!quote]+ 我们在持续学习(Continual Learning)中引入了“睡眠”阶段,使大型语言模型(LLM)能够在持续整合新知识并增强推理能力的同时,缓解“灾难性遗忘”或因知识截止日期导致的静态知识局限。 现代大语言模型通过预训练和上下文学习(In-Context Learning, ICL)展现出了卓越的性能。然而,模型一旦部署,其状态往往趋于静态——受限于固定的知识截止日期,它们无法获取长期能力,也难以适应新信息。 虽然利用新数据更新模型看似是显而易见的解决方案,但持续更新参数往往… 3小时前