Skip to main content

contrastors是一个对比学习工具包，使研究人员和工程师能够有效地训练和评估对比模型

  1. contrastors是一个对比学习工具包，使研究人员和工程师能够有效地训练和评估对比模型。

    特征：
    建立在Flash Attention之上，可实现快速高效的训练
    支持在多个 GPU 上进行训练
    GradCache支持在受限内存环境中进行大批量训练
    Huggingface 支持轻松加载常见模型（Pythia/GPTNeoX、BERT 等）
    掩码语言建模 (MLM) 预训练