Skip to main content

用Rust 语言实现的最小化 CPU 本地运行语言模型推理的项目,支持多种大型语言模型的使用,并最近增加了对 PHI-3.5-vision 模型的多模态支持Rust语言模型推理工具 | ¥工具