Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. 一个免费的音效下载网站，由日本著名音效设计师小森平制作并分享。

    网站提供丰富的音效素材，可供游戏开发、影视制作、音乐制作等多个领域使用。音效素材种类繁多，涵盖动物、机械、气氛、人物、自然等各种类型，可以根据需要自由选择和下载。

    小森平 | #音效

  5. Midjourney 中文教程：Midjourney 学习导航 | #教程

    作为目前最火的 AI 绘图工具，Midjourney 相对其他同类产品，更容易上手，学习成本更低，生成的图像内容也颇为丰富与逼真。

    Midjourney 的学习，主要划分为以下几部分：

    1、Midjourney 基础入门（熟悉工具使用）；
    2、善用 Prompt 对图像进行调节；
    3、通过高阶参数对图像进行定制。

    为了能让不同水平的朋友快速了解和学会 Midjourney ，国内一位开发者制作了 Midjourney 学习导航这门教程，希望它能帮助你更好地学习。

  7. Jami：一款私密的自由聊天软件，消息端到端加密，注册不需要任何个人信息，消息没有经过服务器中转。

  13. LLMPruner：大语言模型裁剪工具。通过对大语言模型的冗余词表进行裁剪，减少模型参数量，降低显存占用，提升训练速度，并且能够保留预训练中学习到的知识。

    大语言模型(LLM, Large Language Model)犹如雨后春笋般，其虽然效果惊艳，但参数量巨大，让普通玩家望而却步。 如今的大语言模型大多为多语种大预言模型(Multilingual Large Language Model)，如LLaMA、mT5、Bloom等，其词表规模巨大，占据非常大部分的模型参数，如Bloom具有25万词表。 在训练模型时，词表权重将会消耗非常大的显存，降低训练速度，产生OOM的现象。

    但在许多下游任务中，一般只会用到一两种语言，例如在中文场景中，一般只会用到中英文。 我们可以对大语言模型的词表进行裁剪，只留下所需的部分，这样不仅能够充分保留模型的预训练知识，并且能够使用更少的显卡进行下游任务的finetune，提升训练效率。 | #工具