Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  8. Paperify：将任意文档、网页或电子书转换为科研论文，生成的论文的文本与原始文档的文本相同，但散布着来自真实论文的图和公式，可添加标题和摘要(支持用ChatGPT 生成

  9. BytePiece是一个bytes-based的Unigram分词器。由于采用了新的训练算法，所以压缩率通常比现有tokenizer更高。此外，它直接操作文本的utf-8 bytes，几乎不进行任何的预处理，所以更加纯粹和语言无关

  10. ModelScope-Agent: 用开源大型语言模型构建可定制的Agent系统，一个适用于实际应用的通用且可定制的Agent框架，基于开源 LLM 作为控制器

    具有以下特点：

    可定制且功能全面的框架：提供可定制的引擎设计，涵盖了数据收集、工具检索、工具注册、存储管理、定制模型训练和实际应用等功能，可用于快速实现实际场景中的应用。

    开源LLMs作为核心组件：支持在 ModelScope 社区的多个开源LLMs上进行模型训练。

    多样化且全面的API：以统一的方式实现与模型API和常见的功能API的无缝集成。

    为了赋予LLMs工具使用能力，提出了一个全面的框架，涵盖了数据收集、工具检索、工具注册、存储管理、定制模型训练和实际应用的方方面面。