FMEngine 是一个用于训练非常大的基础模型的实用程序库

1. 13:20 · Oct 6, 2023 · Fri

   

   ×

   

   FMEngine 是一个用于训练非常大的基础模型的实用程序库。目前，FMEngine 支持两个模型系列：GPT-NeoX和LLama。
   
   fmengine 的目标是提供一个：
   
   ●用于训练基础模型的人体工程学界面。它对于初学者来说足够容易使用，而且还为高级用户提供足够的灵活性来定制他们的培训。
   ●内置高效优化。FMEngine 配备Flash Attention和各种融合操作来加速训练。
   ●使用预构建的 docker 和奇异性/apptainer 容器进行HPC 友好安装。FMEngine主要是在Slurm集群上设计和测试的，提供了在 Slurm 集群上运行 FMEngine 的入门脚本。
   ●与现有框架和工具兼容，特别是HuggingFace。由于 FMEngine 是使用DeepSpeed构建的，因此它也兼容所有 DeepSpeed 功能。