Kolosal AI:开源轻量级的LLM离线运行工具,让大语言模型在本地设备上轻松运行。
仅需约20MB的编译体积,适合边缘设备;支持AVX2 CPU、AMD和NVIDIA GPU,硬件适配广泛;支持多种流行模型,如Mistral、LLaMA、Qwen等
仅需约20MB的编译体积,适合边缘设备;支持AVX2 CPU、AMD和NVIDIA GPU,硬件适配广泛;支持多种流行模型,如Mistral、LLaMA、Qwen等
涵盖83个开源项目;涉及9大类别,从通用机器人仿真器到AI训练仿真器一应俱全;定期更新,保持最新资讯