Intel® Extension for Transformers 是一种创新工具包，可在英特尔平台上加速基于 Transformer 的模型，尤其适用于第 4 代英特尔至强可扩展处理器 Sapphire Rapids（代号为 Sapphire Rapids）

1. 09:09 · Apr 5, 2023 · Wed

   

   ×

   

   Intel® Extension for Transformers 是一种创新工具包，可在英特尔平台上加速基于 Transformer 的模型，尤其适用于第 4 代英特尔至强可扩展处理器 Sapphire Rapids（代号为 Sapphire Rapids）。
   
   该工具包提供以下主要功能和示例：
   
   通过扩展Hugging Face transformers API 和利用英特尔® Neural Compressor，在基于 Transformer 的模型上进行模型压缩的无缝用户体验
   
   高级软件优化和独特的压缩感知运行时（与 NeurIPS 2022 的论文Fast Distilbert on CPUs and QuaLA-MiniLM: a Quantized Length Adaptive MiniLM和 NeurIPS 2021 的论文Prune Once for All: Sparse Pre-Trained Language Models 一起发布）
   
   优化的基于 Transformer 的模型包，例如Stable Diffusion、GPT-J-6B、GPT-NEOX、BLOOM-176B、T5、Flan-T5和端到端工作流程，例如基于 SetFit 的文本分类和文档级情感分析（ DLSA）
   
   NeuralChat ，一个定制的聊天机器人，通过对领域知识的参数高效微调PEFT在 Intel CPU 上训练
   
   项目地址 | #工具