Skip to main content

可扩展的轻量级一站式训练、推理深度学习框架

  1. 可扩展的轻量级一站式训练、推理深度学习框架。它集成了各种高效的微调方法，如LoRA、QLoRA、阿里云自研的ResTuning-Bypass等，以及开箱即用的训练推理脚本，使开发者可以在单张商业级显卡上微调推理LLM&AIGC模型。此外，SWIFT与PEFT完全兼容，使开发者可以在ModelScope模型体系中使用PEFT的能力。

    目前支持的方法：

    LoRA：LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
    Adapter：Parameter-Efficient Transfer Learning for NLP
    Prompt: Visual Prompt Tuning
    Side: Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks
    ResTuning-Bypass
    所有在PEFT上提供的tuners

    主要能力：

    可以通过model-id使SWIFT或PEFT的方法使用ModelScope Hub中的模型
    在单次训练或推理中可以使用多个tuners
    支持调用activate_adapter或deactivate_adapter或set_active_adapters来使部分tuner激活或失活，用户可以在推理时同时加载多个独立的tuners在不同线程中并行使用。

    swift | #框架