LLaMA Box：基于C++实现的高性能LM推理服务器，兼容OpenAI API，为大语言模型推理提供强大支持。

支持多种模型，涵盖LLaMA、Stable Diffusion等；多平台支持，适配NVIDIA、AMD、Intel等多种硬件；高效的RPC服务器模式，可分布式部署模型推理任务