三星这个 LittleBit 有点狠：把大模型压到 0.1 bit/weight。 Llama2-13B 从 26.06GB 压到 0.84GB，31 倍；Llama2-70B 从 138.04GB 压到 1.98GB，接近 70 倍；推理加速最高 11.6 倍。 0.1bit 是什么概念？平均每个权重不到 1 bit，基本是把模型榨干了。论文是 Samsung Labs 的，NeurIPS 2025，代码已开源。 本地部署党的春天来了？70B 塞进 2GB，手机都能跑了。
🌐 链接: https://x.com/taiyanghere/status/2108218741347746291
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-10-08 23:31:31
🌐 链接: https://x.com/taiyanghere/status/2108218741347746291
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-10-08 23:31:31
X (formerly Twitter)
太阳 (@taiyanghere) on X
三星这个 LittleBit 有点狠：把大模型压到 0.1 bit/weight。
Llama2-13B 从 26.06GB 压到 0.84GB，31 倍；Llama2-70B 从 138.04GB 压到 1.98GB，接近 70 倍；推理加速最高 11.6 倍。
0.1bit 是什么概念？平均每个权重不到 1 bit，基本是把模型榨干了。论文是 Samsung Labs 的，Neur…
Llama2-13B 从 26.06GB 压到 0.84GB，31 倍；Llama2-70B 从 138.04GB 压到 1.98GB，接近 70 倍；推理加速最高 11.6 倍。
0.1bit 是什么概念？平均每个权重不到 1 bit，基本是把模型榨干了。论文是 Samsung Labs 的，Neur…
