Awesome-Efficient-Arch：大型语言模型高效架构全景图，囊括449篇关键论文，助力前沿研究与实践优化：

• 线性序列建模：涵盖线性注意力、线性RNN、状态空间模型、测试时训练等多种技术，聚焦计算与内存效率提升。
• 稀疏序列建模：静态、动态及无训练稀疏注意力方案，结合硬件友好实现，突破长序列处理瓶颈。
• 高效全注意力机制：包括IO感知注意力、分组注意力、混合注意力及量化注意力，提升速度与精度平衡。
• 稀疏专家混合模型（MoE）：专家路由、架构设计及转换技术，支持大规模参数稀疏激活，降低计算负担。
• 混合架构创新：跨层及层内混合模型，融合Transformer与状态空间模型等多种优势结构。
• 扩展方向：扩散模型应用于非自回归、跨模态、多模态领域，推动多样化任务高效解决方案。
• 多模态与应用场景：视觉、音频、医疗影像、遥感、自动驾驶等领域具体实例，展示高效架构的广泛落地潜力。
• 硬件适配与实现库：支持基于Triton等框架的硬件高效实现，兼顾训练和推理阶段性能优化。

该资源持续开放贡献，欢迎通过PR补充最新成果，助力构建系统化高效架构知识库。