消息推送本地部署 Qwen 怎么用得下去?任务和智能体如何编排?1小时前本地部署 Qwen 怎么用得下去?任务和智能体如何编排?🌐 链接: https://linux.do/t/topic/3185841🏷️ 分组: LinuxDo论坛🕒 时间: 2026-11-16 17:48:08 LINUX DO 本地部署 Qwen 怎么用得下去?任务和智能体如何编排? 考虑过本地部署。家里云搭配无限用量,二十四小时跑维护任务一定十分舒嫩。 模型大概率选择 Qwen 的 Flash Next 系列高稀疏度或 27B 略高激活参数的模型。 我试用无(低)量化程度 Qwen 3.8 27B,检查效果。 可是这个……怎么这么难受,小任务耗费大量上下文,本来 200K 左右的上下文就不大。 而且整个模型有点笨笨的感觉。 也许 Flash Next 系列的高稀疏度能让量化部署时能力不会损失那么大,高总参数量的世界知识能让它少碰壁。也说不准。 我可能在明年底会评估考虑… 1小时前