Skip to main content

教你从零开始构建类似 ChatGPT 的大语言模型

  1. 教你从零开始构建类似 ChatGPT 的大语言模型。

    在 GitHub 上发现一本《Build a Large Language Model (From Scratch)》书籍。

    作者将带你从头开始构建一个类似 GPT 语言模型,这过程让你了解如何创建、训练和微调大型语言模型 (LLMs)!

    书籍主要分为 8 大章节,如下:

    第 1 章:了解大语言模型(LLM)解析
    第 2 章:介绍文本数据处理技巧
    第 3 章:通过编程实现注意力机制(Attention Mechanisms)
    第 4 章:从零开始实现类似 GPT 模型
    第 5 章:对未标注数据进行预训练
    第 6 章:针对文本分类的模型微调
    第 7 章:结合人类反馈进行模型微调
    第 8 章:在实践中使用大语言模型

    书籍前两章内容已出,剩下的会逐步放出。

    在线阅读 | 涉及源码