tokenizers: Hugging Face公司推出的分词器发布新版本

Hugging Face（抱抱脸）公司是一家总部位于美国纽约的聊天机器人初创服务商。该公司在 NLP界鼎鼎大名，三月份刚刚完成4000万美元B轮融资。在GitHub上发布了开源 NLP 库 Transformers。

基于深度学习的现代 NLP 管道中的瓶颈之一就是tokenization，尤其是通用性强且独立于框架的实现。

所以，该分词器的核心是用Rust编写的，并且存在Node和Python的绑定。提供当今最常用的分词器的实现，重点是性能和多功能性。

[https://github.com/huggingface/tokenizers](https://github.com/huggingface/tokenizers)

GitHub

GitHub - huggingface/tokenizers: 💥 Fast State-of-the-Art Tokenizers optimized for Research and Production

💥 Fast State-of-the-Art Tokenizers optimized for Research and Production - huggingface/tokenizers

华强北，才是掌握苹果核心科技的地方

1:31

Media is too big

VIEW IN TELEGRAM

leetcode-master 由于新手或者老手对刷题节奏把控不好，项目作者整理了 #LeetCode 刷题攻略：经典题目高频面试题 + 合理的刷题顺序。master在讲解方面也十分详细：视频难点剖析加上 50 余张思维导图。按照这个顺序来做，估摸着会省下很多时间。

#投资理财之术

新冠是历史级别的全球瘟疫，重创全球经济后，复苏也是历史级别的。

全球供应链的重启，供需力量的失衡，不是一个国家的约谈可以制衡的。

美国大力重返基建，中国内循环+新基建，大宗商品的强烈需求，涨势没有破坏

大周期里，选对资产，是赚多赚少的问题