Skip to main content

minbpe：用于大型语言模型（LLM）分词的简洁干净的字节对编码（BPE）算法实现，支持自定义训练和与GPT-4分词器的比较验证

  1. minbpe：用于大型语言模型（LLM）分词的简洁干净的字节对编码（BPE）算法实现，支持自定义训练和与GPT-4分词器的比较验证