消息推送MAC跑大模型是不是真不行啊~3小时前MAC跑大模型是不是真不行啊~🌐 链接: https://linux.do/t/topic/3098077🏷️ 分组: LinuxDo论坛🕒 时间: 2026-10-30 21:47:30 LINUX DO MAC跑大模型是不是真不行啊~ 我在本地的 M5 Max 上部署了 QWEN 3.8 27B 8-bit MLX 下面是鹈鹕测试的效果,共用时12分27秒完成任务 推理架构: 推理引擎:Splash 1.4.1 加速:DFlash 2 投机解码 KV Cache:BF16,未量化 循环状态:FP32 思考档位:xhigh 总体质量还是不错的,就是生成速度太慢了 30t/s 3小时前