Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. 由 Libra-AI 开发的一个开源工具，用于将事实验证过程自动化。它提供了一个全面的管道，用于将长文本剖析成单独的主张、评估其验证的价值、生成证据搜索的查询、爬取证据并最终验证主张。

    该工具对于记者、研究人员和任何对信息真实性感兴趣的人特别有用。

    Loki | #工具

  6. twitter-web-exporter：使用 TypeScript 开发的开源项目，可用于从 Twitter 网页应用程序导出 tweets、书签、列表、搜索结果、用户关注列表等

    局限性
    该脚本仅适用于网络应用程序 (twitter.com)。它不适用于移动应用程序。

    基本上，脚本“看到”你在页面上看到的内容。如果你看不到页面上的数据，则脚本也无法访问它。例如，Twitter 在个人资料页面上仅显示最新的 3200 条推文，并且脚本无法导出早于此的推文。

    网页上的数据是动态加载的，这意味着脚本在加载之前无法访问数据。需要继续向下滚动以加载更多数据。确保在导出之前加载所有数据。

    导出过程不是自动化的（没有第三方工具的帮助）。它依靠人类交互来触发 Twitter Web 应用程序的数据获取过程。该脚本本身不会向 Twitter API 发送任何请求。

    该脚本不依赖官方 Twitter API，因此没有相同的速率限制。然而，Twitter 网络应用程序确实有其自身的局限性。如果达到该速率限制，请在几分钟后重试。

    相反，该脚本可以导出官方API无法提供的数据。例如，官方API在访问书签时有800个限制。该脚本可以导出所有书签，不受该限制，直到受到 Twitter Web 应用程序本身的限制。

    下载媒体文件也有限制。目前，该脚本将图片和视频下载到浏览器内存，然后将它们压缩到单个存档中。如果媒体文件太大，可能会导致浏览器崩溃。它可以处理的最大存档大小取决于浏览器和计算机的可用内存。 （Chrome 上为 2GB，Firefox 上为 800MB）

  11. UniDep：一个 Python 包，提供了一个统一的地方来管理 Conda 和 pip 依赖项

    处理 Python 项目中的依赖关系可能具有挑战性，尤其是在处理 Python 和非 Python 包时。当开发人员在多个依赖文件之间切换时，这通常会导致混乱和低效率。

    📝 统一依赖文件：使用requirements.yaml或pyproject.toml之一在一个地方管理 Conda 和 Pip 依赖关系。
    ⚙️ 构建系统集成：与Setuptools和Hatchling集成，以在pip install ./your-package.
    💻 一键安装：unidep install轻松处理 Conda、Pip 和本地依赖项。
    🏢 Monorepo-Friendly：将（多个）requirements.yaml或pyproject.toml文件渲染到一个 Conda文件中，并保持全局和每个子包文件environment.yaml完全一致。conda-lock
    🌍特定于平台的支持：指定不同操作系统或架构的依赖关系。
    🔧pip-compile集成：requirements.txt从生成完全固定的文件requirements.yaml或pyproject.toml使用pip-compile.
    🔒 与 集成conda-lock：利用 .conda-lock.yml从（多个）requirements.yaml或pyproject.toml文件生成完全固定的文件conda-lock。
    🤓 Nerd stats：用 Python 编写，>99% 测试覆盖率，完全类型化，启用所有 Ruff 规则，易于扩展，依赖性最小

  13. 用于评估大型语言模型(LLM) Agent在多步多模态任务中的工具使能力的基准数据集，包含超过 4000 个多步多模态任务，这些任务涉及 33 种工具，包括 13 种多模态模型、9 个公共 API 和 11 个图像处理模块

    m&m's | #数据集

  17. Praison AI：将 AutoGen 和 CrewAI 或类似框架集成到一个低代码解决方案中，用于构建和管理多智能体 LLM 系统，重点放在简单性、定制化和高效人机协同上

  18. L7VP：地理空间智能可视分析和应用开发工具，原名LocationInsight。 L7VP以AntV L7可视化平台命名，其中L代表Location，7代表世界七大洲，寓意能够为全球位置数据提供可视化分析。

    L7VP通过丰富的地理可视化效果、洞察分析能力、地图应用构建工具以及开放扩展能力，为用户提供了强大而灵活的地理可视化分析工具，满足各种可视化需求和数据分析应用场景。 | #工具

    ✨ 特点
    🚀 快速：洞察时空数据，快速生成可视化结果。
    🛠 扩展性：有了可扩展性，业务就可以定制。
    🏗 嵌入：提供开放组件，业务系统可以轻松嵌入。

  19. RAG Arena：基于 Next.js 和 LangChain 的开源聊天机器人项目，提供了一种接受多个响应的查询体验。

    用户对这些响应进行投票，然后将其清晰地显示所使用的检索器，通过数据 RAG 方法来区分聊天机器人。该项目利用 Supabase 进行数据库操作，并具有显示数据库数据的实时排行榜。