Nvidia 4060Ti部署Qwen3.6方案

🌐 链接: https://linux.do/t/topic/2998753
🏷️ 分组: LinuxDo论坛
🕒 时间: 2026-10-09 12:44:01
LINUX DO
Nvidia 4060Ti部署Qwen3.6方案
一、硬件 GPU：Nvidia 4060Ti 16G CPU：Intel 12600KF 内存：64G 二、软件 OS：Debian13 部署：LLamaCPP 2.1 运行命令 taskset -c 0-11 llama-server --api-key "123456" \ -m ./Hermes3.6-35B-A3B-Uncensored-Genesis-Final-MTP-APEX-Compact.gguf \ -a Qwen3.6-35B-A3B \ …