Skip to main content

AI时代检索增强生成技术学习与实验工具,通过文档数据库检索信息引导生成过程,提升内容准确性和相关性,解决大型语言模型的幻觉问题

  1. AI时代检索增强生成技术学习与实验工具,通过文档数据库检索信息引导生成过程,提升内容准确性和相关性,解决大型语言模型的幻觉问题。

    LLM会产生误导性的 “幻觉”,依赖的信息可能过时,处理特定知识时效率不高,缺乏专业领域的深度洞察,同时在推理能力上也有所欠缺。

    正是在这样的背景下,检索增强生成技术(Retrieval-Augmented Generation,RAG)应时而生,成为 AI 时代的一大趋势。

    RAG 通过在语言模型生成答案之前,先从广泛的文档数据库中检索相关信息,然后利用这些信息来引导生成过程,极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题,提高了知识更新的速度,并增强了内容生成的可追溯性,使得大型语言模型在实际应用中变得更加实用和可信。

    此仓库用于学习大模型RAG的相关内容,目前为手搓实现,主要是llama-index和langchain不太好魔改。此仓库可以方便看论文的时候,实现一些小的实验。以下为本仓库的RAG整体框架图。

    以下为作者所构思的RAG实现过程,这里面主要包括包括三个基本步骤:

    索引 — 将文档库分割成较短的Chunk,并通过编码器构建向量索引。
    检索 — 根据问题和 chunks 的相似度检索相关文档片段。
    生成 — 以检索到的上下文为条件,生成问题的回答。

    Hand on RAG | #工具