大型语言模型（LLM）训练与推理的优化技术总结：
随着模型参数规模达到数十亿，传统训练和部署方法面临巨大挑战。本文凝练了业内主流且高效的优化思路，涵盖内存、计算和推理三大核心方向，适合对大模型优化感兴趣的技术人员和面试准备者参考。
一、显存优化
- Flash Attention：通过“切块计算+重算”降低注意力机制的内存复杂度，从全矩阵处理变为分块处理，仅保存归一化因子，显著减小内存占用。
- 多查询注意力（MQA/GQA）：共享键值减少内存，分组查询权衡效率与质量。
- 激活检查点：保存部分激活，训练时重算其余，降低显存压力。
二、计算优化
- 序列打包：将多条训练序列拼接，消除padding，提升GPU利用率。
- 高效Transformer：借助BigBird、Longformer等局部+全局注意力，实现长序列线性复杂度。
- 低秩近似与层级扩张注意力：进一步降低计算量，支持更大规模输入。
三、推理优化
- KV缓存：缓存历史键值，避免重复计算，提升生成速度和内存效率。
- 状态缓存：用滚动哈希和LRU算法管理对话历史，支持缓存复用。
- 推测解码：先用小模型快速生成候选，再用大模型验证，推理速度提升2-3倍。
- 量化技术：8位、混合精度和量化感知训练，在保证精度前提下极大压缩模型大小。
四、训练优化
- 混合精度训练：bfloat16结合动态loss scaling，兼顾速度和数值稳定。
- 数据并行与ZeRO优化：通过分割参数、梯度和优化器状态，实现显存极限压缩。
- 流水线并行：GPipe、PipeDream等减少GPU空闲，支持多阶段并行执行。
- 张量并行：列切分和行切分矩阵乘法，实现大模型跨设备高效计算。
- 上下文并行：序列长度分割多GPU，结合先进通信协议保证效率。
- 专家并行（MoE）：引入专家子网，路由不同token至不同专家，显著扩展模型容量，同时需解决负载均衡。
优化大模型是一项系统工程，需多维度平衡内存、计算和通信开销。本文汇总的核心技术涵盖了当前业界最前沿的思路，有助于理解和掌握大模型训练与推理的关键瓶颈及解决方案。未来，随着模型规模持续增长，这些优化策略将愈发重要。
