10:34 · May 31, 2022 · Tue × × × × 一个大模型推理系统，仅需对现有项目进行极少量修改，即可完成自定义大模型的推理部署，获得并行扩展的超线性加速。对于 AI 大模型分布式推理加速，相比英伟达 FasterTransformer 可提升 50% 以上。项目以 “高性能、高可用、可伸缩” 为理念，深入单实例多设备推理场景，在性能和易用性上兼具优势。Energon-AI
