Skip to main content

黑洞资源笔记

  1. AIOS: 基于大型语言模型的操作系统,允许操作系统像“具有灵魂”一样运行,AIOS 是一个旨在优化资源分配、促进跨agent上下文切换、实现agent并发执行和提供LLM agent工具服务。
  2. Sycamore:一个对话式搜索和分析平台,适用于复杂的非结构化数据,例如文档、演示文稿、成绩单、嵌入式表格和内部知识存储库。

    它通过将人工智能引入数据准备、索引和检索来检索和综合高质量的答案。 Sycamore 可以轻松准备用于搜索和分析的非结构化数据,提供用于数据清理、信息提取、丰富、汇总和生成封装数据语义的向量嵌入的工具包。

    Sycamore 使用你选择的生成式 AI 模型来使这些操作变得简单而有效,并且可以实现快速实验和迭代。此外,Sycamore 使用 OpenSearch 进行索引,支持混合(向量 + 关键字)搜索、检索增强生成 (RAG) 管道、过滤、分析功能、会话记忆和其他功能来改进信息检索。

    特征
    自然语言、对话界面,可针对非结构化数据提出复杂问题。包括对来源段落和对话记忆的引用。
    包括对非结构化数据的各种查询操作,包括混合搜索、检索增强生成 (RAG) 和分析函数。
    通过高级数据分段、用于数据丰富的 LLM 支持的 UDF、使用 Python 进行的高性能数据操作以及使用各种 AI 模型的向量嵌入,准备和丰富用于搜索和分析的复杂非结构化数据。
    自动数据爬虫(Amazon S3 和 HTTP)和 Jupyter 笔记本支持等有用的功能可用于创建和迭代数据准备脚本。
    可扩展、安全且可定制的 OpenSearch 后端,用于索引和数据检索。
  3. 一个多模态工具,用于将现实世界的信息输入大语言模型,基于多核设计,通过精心设计的启发式方法,从文件、文件夹、网页等来源创建有意义的文本和图像提示。

    The Pipe | #工具
  4. WhatTheDuck:一个基于 DuckDB 构建的开源 Web 应用程序,旨在允许用户上传 CSV 文件,将其存储在表中,并对上传的数据执行 SQL 查询。

    该应用程序还提供以 CSV 格式下载过滤结果的功能,支持上传多个文件,并使用户能够执行联接查询。

    需要注意的是,应用程序将数据临时存储在内存中,刷新页面会清除所有上传的数据。
  5. 一款可助你轻松创作高质量文章的 AI 工具 Claude-Journalist | #工具

    该工具借助了 Claude 3,只需输入一个主题,它便会通过网络搜索收集相关信息,并帮你进行撰写和编辑高质量的文章。

    你可以在 Colab 笔记上运行它开源的 .ipynb 文件,也可以在其自家平台上使用。

    工作流程:

    1. 用户输入一个写作主题;
    2. 利用 Claude 3 Haiku 为该主题生成一系列搜索关键词;
    3. 通过 SERP API 对这些关键词进行网络搜索;
    4. Claude 将从搜索结果中挑选出最贴切、信息量最丰富的网页链接;
    5. 利用 newspaper3k 库提取这些链接的文章内容;
    6. Claude 基于这些内容撰写一篇高品质文章;
    7. Claude 还将作为编辑,审阅文章并提出改进建议;
    8. 根据这些建议,Claude 将文章重写;
    9. 最后展示出初稿和经过编辑的文章。
  6. Lapdev:自托管远程开发环境管理系统,可以在服务器或云服务器上建立和管理远程开发环境

    轻松实现自助托管: Lapdev 可自行托管,安装和维护工作量极小。应用程序只需运行即可,无需深入内部排除故障。

    横向可扩展性: Lapdev 采用简单而强大的架构,可从单台机器扩展到整个服务器群,因此你可以拥有一个与开发团队共同成长的开发环境管理系统。

    开发环境即代码: 通过使用 Devcontainer 开放规范,Lapdev 允许你将开发环境定义为代码。这样就可以将开发环境标准化,并在不同的开发人员之间进行复制,从而避免与环境相关的问题,确保每个人都能获得一致的设置。

    节省入职时间: 新项目的入职开发人员无需花费数小时或数天的时间在自己的机器上准备环境。他们可以立即开始编码。
  7. CoML:可以帮助数据科学和机器学习开发人员的开源项目,基于大型语言模型提供交互式自然语言编程接口,方便数据分析和机器学习任务
  8. TorchTune:易于使用的 PyTorch 库,可轻松编写、微调和实验LLM模型。

    该库提供了多种功能,包括使用 native-PyTorch 实现的流行语言模型,支持各种格式的复原,以及提供训练和评估工具,例如 HF 格式的检查点支持。