最近在 LoongForge 上完成了 Pi0.5 的sft加速训练 VLA 模型对我来说是一次陌生的尝试：3.5B 的模型、762 的序列长度，看上去用不了多少 trick。但是实际优化下来，发现可以细化的地方很多 最终 bf16下吞吐做到 24.0 samples/s（社区2.63 倍），FP8 下吞吐达到 27.34 samples/s（社区3.00倍） 1 冗余的256 序列长度：空相机 slot 裁剪 Pi0.5 的序列结构比较特殊，包含图像、文本指令和 action 三部分。为了理清 ViT…