Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  4. Triton-语言和编译器：为编写高效的自定义深度学习原语而设计的编程语言和编译器，旨在提供比CUDA更高的生产力和灵活性

  7. 一本由 GPT4 生成的中英词典，涵盖 8000 高频词汇 （涵盖中考、高考、大学四六级）

    对每个单词，会列出下面的内容（也是生成本词典的提示词），不过因为GPT生成的也有出错的可能。如图为示例
    🌟分析词义
    - 系统地分析用户提供的英文单词，并以简单易懂的方式解答；
    🌟列举例句
    - 根据所需，为该单词提供至少 3 个不同场景下的使用方法和例句。并且附上中文翻译，以帮助用户更深入地理解单词意义。
    🌟词根分析
    - 分析并展示单词的词根；
    - 列出由词根衍生出来的其他单词；
    🌟词缀分析
    - 分析并展示单词的词缀，例如：单词 individual，前缀 in- 表示否定，-divid- 是词根，-u- 是中缀，用于连接和辅助发音，-al 是后缀，表示形容词；
    - 列出相同词缀的的其他单词；
    🌟发展历史和文化背景
    - 详细介绍单词的造词来源和发展历史，以及在欧美文化中的内涵
    🌟单词变形
    - 列出单词对应的名词、单复数、动词、不同时态、形容词、副词等的变形以及对应的中文翻译。
    - 列出单词对应的固定搭配、组词以及对应的中文翻译。
    🌟记忆辅助
    - 提供一些高效的记忆技巧和窍门，以更好地记住英文单词。
    🌟小故事
    - 用英文撰写一个有画面感的场景故事，包含用户提供的单词。
    - 要求使用简单的词汇，100 个单词以内。
    - 英文故事后面附带对应的中文翻译。

    DictionaryByGPT4 | #词典

  10. 本地素材AI语义搜索工具，能够通过自然语言快速定位图片和视频素材，支持以图搜图、文字描述匹配画面等多种搜索方式

    功能
    文字搜图
    以图搜图
    文字搜视频（会给出符合描述的视频片段）
    以图搜视频（通过视频截图搜索所在片段）
    图文相似度计算（只是给出一个分数，用处不大）
    Pexels视频搜索

    MaterialSearch | #工具

  11. AI时代检索增强生成技术学习与实验工具，通过文档数据库检索信息引导生成过程，提升内容准确性和相关性，解决大型语言模型的幻觉问题。

    LLM会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。

    正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。

    RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。

    此仓库用于学习大模型RAG的相关内容，目前为手搓实现，主要是llama-index和langchain不太好魔改。此仓库可以方便看论文的时候，实现一些小的实验。以下为本仓库的RAG整体框架图。

    以下为作者所构思的RAG实现过程，这里面主要包括包括三个基本步骤：

    索引 — 将文档库分割成较短的Chunk，并通过编码器构建向量索引。
    检索 — 根据问题和 chunks 的相似度检索相关文档片段。
    生成 — 以检索到的上下文为条件，生成问题的回答。

    Hand on RAG | #工具