Skip to main content

基于Rust的快速文本分词工具，支持RWKV v5和v6模型使用的World Tokenizer，提供Python模块安装与使用，通过性能和有效性测试，与原始分词器结果一致，速度显著提升RWKV Tokenizer | #工具

  1. 基于Rust的快速文本分词工具，支持RWKV v5和v6模型使用的World Tokenizer，提供Python模块安装与使用，通过性能和有效性测试，与原始分词器结果一致，速度显著提升

    RWKV Tokenizer | #工具