Kolosal AI：开源轻量级的LLM离线运行工具，让大语言模型在本地设备上轻松运行。

仅需约20MB的编译体积，适合边缘设备；支持AVX2 CPU、AMD和NVIDIA GPU，硬件适配广泛；支持多种流行模型，如Mistral、LLaMA、Qwen等