本地大模型：统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来！

🌐 链接: https://www.v2ex.com/t/1248290#reply0
🏷️ 分组: V2EX技术
🕒 时间: 2026-10-13 10:08:33
V2EX
本地大模型：统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来！ - V2EX
Local LLM - @jinsongzhaocn - UMA 统一内存，GPU 直接访问共享内存池，硬件层面消除显式拷贝，不用软件层手动搬数据。 独立显卡 VRAM + 系统内存分层卸载，模型权重、KV Cache 按需在显存和内存之间动态搬运