• LoRA（低秩适配）：高效微调，节省计算资源
• 量化（Quantization）：降低模型精度需求，显著减小模型体积
• 剪枝（Pruning）：剔除冗余参数，提升推理速度
• 蒸馏（Distillation）：通过小模型学习大模型知识，实现轻量化
• 权重共享（Weight Sharing）：减少参数数量，降低存储需求
• Flash Attention：优化注意力计算，提升内存利用与速度
• KV-Cache 压缩：缩减键值缓存，降低推理延迟
• 稀疏专家模型（Sparse MoE）：动态激活部分专家节点，极大提升效率
• 梯度检查点（Gradient Checkpointing）：节省训练显存，支持更大模型
• 混合精度训练（Mixed Precision Training）：兼顾速度与精度，降低硬件要求
• 参数高效微调（Parameter-Efficient Fine-Tuning）：减少微调参数量，快速适配任务
• 分片训练（Sharded Training）：分布式分片，突破单机内存瓶颈
• CPU 卸载（CPU Offloading）：利用 CPU 辅助减轻 GPU 负担
• 检索增强压缩（Retrieval-Augmented Compression）：结合外部知识库优化模型表现
• 推测解码（Speculative Decoding）：提前预测，缩短生成时间
这些技术在实际应用中往往组合使用，单靠算法改进难以突破硬件瓶颈，需结合硬件优化（如 DeepEP、DualPipe）及性能指标（roofline 模型）进行系统设计，才能实现真正的“快”与“廉”。
深入掌握并灵活应用，才能在模型推理成本与速度间找到最佳平衡，推动大模型高效普及。
• 数学/统计 → Python → Pandas、NumPy（数据处理与数值计算）
• Matplotlib（数据可视化）
• MySQL（关系型数据库管理）
• Scikit-learn → XGBoost（传统机器学习模型）
• PyTorch → Transformers → SBERT（深度学习与预训练语言模型）
• FastAPI（高性能接口开发）
• DVC、MLflow（数据版本管理与实验追踪）
• PySpark（大数据处理）
• Docker（容器化部署）
• Airflow（工作流调度）
• Ultralytics、SpaCy、OpenCV（计算机视觉与NLP工具）
• Langchain、Qdrant（现代大模型应用与向量数据库）
这条路径体现了从理论到实践、从模型训练到工程落地的全流程能力，远超单点技能积累。真正的价值在于整合这些工具解决复杂问题，而非单纯“收集”技术。无论是构建高效流水线还是实现端到端部署，掌握上述栈意味着你已经具备了全面驾驭机器学习系统的能力。
