Skip to main content

黑洞资源笔记

  1. 本地素材AI语义搜索工具,能够通过自然语言快速定位图片和视频素材,支持以图搜图、文字描述匹配画面等多种搜索方式

    功能
    文字搜图
    以图搜图
    文字搜视频(会给出符合描述的视频片段)
    以图搜视频(通过视频截图搜索所在片段)
    图文相似度计算(只是给出一个分数,用处不大)
    Pexels视频搜索

    MaterialSearch | #工具
  2. AI时代检索增强生成技术学习与实验工具,通过文档数据库检索信息引导生成过程,提升内容准确性和相关性,解决大型语言模型的幻觉问题。

    LLM会产生误导性的 “幻觉”,依赖的信息可能过时,处理特定知识时效率不高,缺乏专业领域的深度洞察,同时在推理能力上也有所欠缺。

    正是在这样的背景下,检索增强生成技术(Retrieval-Augmented Generation,RAG)应时而生,成为 AI 时代的一大趋势。

    RAG 通过在语言模型生成答案之前,先从广泛的文档数据库中检索相关信息,然后利用这些信息来引导生成过程,极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题,提高了知识更新的速度,并增强了内容生成的可追溯性,使得大型语言模型在实际应用中变得更加实用和可信。

    此仓库用于学习大模型RAG的相关内容,目前为手搓实现,主要是llama-index和langchain不太好魔改。此仓库可以方便看论文的时候,实现一些小的实验。以下为本仓库的RAG整体框架图。

    以下为作者所构思的RAG实现过程,这里面主要包括包括三个基本步骤:

    索引 — 将文档库分割成较短的Chunk,并通过编码器构建向量索引。
    检索 — 根据问题和 chunks 的相似度检索相关文档片段。
    生成 — 以检索到的上下文为条件,生成问题的回答。

    Hand on RAG | #工具
  3. 一款低代码构建多Agent大模型应用的开发工具,协助开发者用极低的成本构建复杂的AI应用,并可以持续的迭代优化效果。LazyLLM提供了便捷的搭建应用的workflow,并且为应用开发过程中的各个环节提供了大量的标准流程和工具。

    基于LazyLLM的AI应用构建流程是原型搭建 -> 数据回流 -> 迭代优化,即您可以先基于LazyLLM快速跑通应用的原型,再结合场景任务数据进行bad-case分析,然后对应用中的关键环节进行算法迭代和模型微调,进而逐步提升整个应用的效果。

    LazyLLM | docs |#工具
  4. WhiteCanvas:Python的类型安全且独立于后端的绘图库,旨在提供简洁而非简单的API,支持多种绘图后端,以实现代码的通用性和易用性
  5. 多人协作工具 Multi 被 Open AI 收购了。

    Multi 可以实现在系统层面的多人协作,可以多人控制一台电脑,还支持语音、视频通话以及标注等能力。