KVSplit：让你的Mac运行更大语言模型、更长上下文

8位键+4位值的差异化精度，内存减少59%；性能提升，比FP16快5.7%；3. 专为M1/M2/M3 Mac优化，支持Metal