API for Open LLMs：开源大模型的统一后端接口，支持多种开源大模型

该项目为开源大模型的推理实现统一的接口接口，与OpenAI响应保持一致，具有以下特性：

✨以OpenAI ChatGPT API这样的方式调用开源分布式大模型

🖨支持流式响应，实现打印机效果

📖 实现文本嵌入模型，为文档知识问答提供支持

🦜支持大规模语言模型开发工具langchain 的广泛功能

🙌要简单的修改环境变量即可将开源模型作为chatgpt的替代模型，为大众应用提供反馈支持

🚀支持加载经过自行训练的lora模型