加速本地大语言模型(LLM)推理和微调的工具,让Intel GPU和NPU也能轻松跑LLM

支持70+种模型,涵盖LLaMA、Mistral、ChatGLM等;提供低比特(FP8/FP6/INT4)加速,性能飞跃;无缝对接HuggingFace、LangChain等热门框架

Intel IPEX-LLM | #工具
 
 
Back to Top