消息推送Strata的API服务应当如何复用提示词缓存?1小时前Strata的API服务应当如何复用提示词缓存?🌐 链接: https://linux.do/t/topic/3161570🏷️ 分组: LinuxDo论坛🕒 时间: 2026-11-12 16:43:14 LINUX DO Strata的API服务应当如何复用提示词缓存? 公司想要本地跑模型,比较看重并发性能。我初步想法是部署多个strata实例,分别为不同的公共提示词复用缓存。现在有些问题想要请教佬们 背景:我现在使用的是Strata的Appimage版本 据我观察,应用版本的strata貌似只能存在一个缓存。无论是应用内部对话还是API对话,只要提示词前缀发生变化就会更换缓存,然后在监控中的缓存复用就会变为0。确实是这样吗? 我在应用内部对话时,缓存能够正常复用,但是我使用API服务去请求时,缓存永远都是0,无论我怎样拼接message列表。我问过AI我使用AP… 1小时前