火车上用不了开发设备，用聊天模型简单查了一下记忆系统相关设计，学界内基本的评判标准是DynamicMem等测试集模拟用户使用，测试集的主要测试内容是direct qa（问明确的事实性问题查询能否获得准确回答），但几乎没有用户实际评分的基准。 同时发现另一个论文是MemUse，结论是direct qa与实际用户体验基本无关：提升了direct qa eval准确率数成的算法，用户体验度评分没有显著变化。 我的直觉是基于direct qa的eval为中心甚至唯一指标在战略上是不可取的，甚至只追求它是战术上勤奋战略上懒惰。…