Skip to main content

黑洞资源笔记

  1. 昆仑万维开源了自己的Skywork大模型 | Skywork

    本次开源的模型有Skywork-13B-Base模型、Skywork-13B-Chat模型、Skywork-13B-Math模型和Skywork-13B-MM模型,以及每个模型的量化版模型,以支持用户在消费级显卡进行部署和推理。

    Skywork开源项目的特点有:

    Skywork-13B-Base模型在高质量清洗过滤的3.2万亿个多语言(主要是中文和英文)和代码数据上进行预训练,它在多种评测和各种基准测试上都展现了同等规模模型的最佳效果。

    Skywork-13B-Chat模型具备强大的对话能力,我们在文创领域进行了进一步的针对性增强。我们通过构建一万多条高质量指令数据集,在10个文创任务上进行了针对性微调,使我们的模型在文创任务中能够接近ChatGPT的效果。此外,我们开源了针对这10个文创任务上的大约500条样本组成的benchmark。

    Skywork-13B-Math模型经过专门的数学能力强化训练。在13B参数规模下,我们的模型在GSM8K评测上得分第一,同时在MATH数据集以及CMATH上也表现优异,处于13B模型顶尖水平。

    Skywork-13B-MM多模态模型支持用户输入图片信息进行问答,对话等任务。

    Skywork/Skypile-150B数据集是根据我们经过精心过滤的数据处理流程从中文网页中筛选出的高质量数据。本次开源的数据集大小约为600GB,总的token数量约为150B,是目前开源最大中文数据集。

    除此之外,我们还公开了训练Skywork-13B模型中使用的评估方法、数据配比研究和训练基础设施调优方案等信息。我们希望这些开源内容能够进一步启发社区对于大型模型预训练的认知,并推动人工智能通用智能(AGI)的实现。
  2. Ollama:在本地启动并运行大语言模型 | #工具

    Ollama 是一款命令行工具,可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。适用于 macOS 和 Linux,并计划支持 Windows。

    Ollama 目前支持近二十多个语言模型系列,每个模型系列都有许多可用的 "tags"。

    Tags 是模型的变体,这些模型使用不同的微调方法以不同的规模进行训练,并以不同的级别进行量化,以便在本地良好运行。量化级别越高,模型越精确,但运行速度越慢,所需的内存也越大。
  3. 采用 Rust 编写,vivo 将发布自研操作系统

    随着 vivo 2023 开发者大会的临近,vivo 副总裁周围在今日的预热活动中透露:该公司将推出一款面向未来的自研智慧操作系统。

    该系统支持大模型与多模态交互,并将成为全球首款 Rust 语言编写系统框架的操作系统。目前 vivo 暂未提供该系统的更多细节与命名。
  4. Orbital:动态统一 API 和数据,无需粘合代码

    Orbital 可自动实现数据源(API、数据库、队列和函数)之间的集成,它本质上是去中心化的,没有定义中央映射代码。 BFF、API 组合和 ETL 管道可随着规格变化而调整。

    站点 | 文档 | 博客 | github
  5. Kubespider:一款全局资源编排下载系统,旨在构建一个通用的下载编排系统,兼容各种资源平台和下载软件,兼容多种下载方式(请求触发,周期触发,更新触发),做资源下载最完美的统一解决方案