想本地跑个大模型,先得算显卡钱,再算云上按次计费,预算没批下来,实验就先停了。有没有不靠 GPU 也能跑的路子? 这份 C 代码把推理整个搬到单颗 CPU 上,2.78 万亿参数的模型压进 8.24 GB 内存就能出结果。纯 C99 写成,不依赖 BLAS,不套框架,也不用显卡,换台机器编译就能跑,中间那层按调用收费的加价直接没了。 一天 351 星。一台旧笔记本到底能不能扛住,答案就在这份代码里:http://github.com/FareedKhan-dev/kimi-k3-i...
🌐 链接: https://x.com/joganicpe/status/2118252330634404280
🏷️ 分组: X|正在关注
🕒 时间: 2026-11-05 16:01:25
🌐 链接: https://x.com/joganicpe/status/2118252330634404280
🏷️ 分组: X|正在关注
🕒 时间: 2026-11-05 16:01:25