技术,生活,随看 \随转
tokenizers: Hugging Face公司推出的分词器发布新版本
Hugging Face(抱抱脸)公司是一家总部位于美国纽约的聊天机器人初创服务商。该公司在 NLP界鼎鼎大名,三月份刚刚完成4000万美元B轮融资。在GitHub上发布了开源 NLP 库 Transformers。
基于深度学习的现代 NLP 管道中的瓶颈之一就是tokenization,尤其是通用性强且独立于框架的实现。
所以,该分词器的核心是用Rust编写的,并且存在Node和Python的绑定。提供当今最常用的分词器的实现,重点是性能和多功能性。
[https://github.com/huggingface/tokenizers](https://github.com/huggingface/tokenizers)
Hugging Face(抱抱脸)公司是一家总部位于美国纽约的聊天机器人初创服务商。该公司在 NLP界鼎鼎大名,三月份刚刚完成4000万美元B轮融资。在GitHub上发布了开源 NLP 库 Transformers。
基于深度学习的现代 NLP 管道中的瓶颈之一就是tokenization,尤其是通用性强且独立于框架的实现。
所以,该分词器的核心是用Rust编写的,并且存在Node和Python的绑定。提供当今最常用的分词器的实现,重点是性能和多功能性。
[https://github.com/huggingface/tokenizers](https://github.com/huggingface/tokenizers)
华强北,才是掌握苹果核心科技的地方