Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. Petals，一个可以让多人协作运行 Llama 和 BLOOM 等大型语言模型的项目

    使用Llama 2 (70B)，Falcon (180B)，BLOOM (176B)（或其衍生版本）生成文本，并针对任务进行微调，可使用消费级GPU或Google Colab。

    你可以加载模型的一小部分，然后加入一个网络，由其他人提供其余部分。Llama 2 （70B）的单批量推理速度可达6个标记/秒，Falcon（180B）的单批量推理速度可达4个标记/秒，足以用于聊天机器人和交互应用程序。

  7. 用于处理大规模非结构化文本数据集的工具，提供清理和筛选功能，旨在筛选微调数据集、创建用于检索增强生成(RAG)的文档集合，甚至对LLM预训练Web规模数据集进行去重。

    Galactic | #工具

  11. 微软在 GitHub 开源的一套 AI 工具，可用于简化大模型应用的开发周期。

    打通了从项目构思、原型设计、测试、评估到生产部署和监控的全流程，让开发者可以快速构建出高质量的大语言模型应用。

    项目配套了「提示流入门教程」、「跟 PDF 对话聊天」等详细的技术文档与指南，帮助你快速上手技术。

    通过快速流程，你能够：

    1.创建并迭代开发流程：
    创建将 LLM、提示、Python 代码和其他工具链接在一起的可执行流程。
    轻松调试和迭代您的流程，尤其是与法学硕士的交互。
    2.评估流量质量和性能
    使用更大的数据集评估流程的质量和性能。
    将测试和评估集成到CI/CD 系统中，以确保流程的质量。
    3.简化生产开发周期
    将流程部署到你选择的服务平台或轻松集成到应用程序的代码库中。
    （可选，但强烈推荐）利用Azure AI 中的云版本提示流与你的团队协作。

    Prompt flow | #工具

  12. 无需本地部署，免费使用 Stable Diffusion | blog

    就在 Midjourney 全网收割付费用户的时候，SD 推出一款对标 Midjourney 的完全免费的 AI 画图软件 Stable Foundation，同样部署在 Discord 上，Stable Foundation 使用的是最新的 sdxl 1.0 版本模型。

    如何将 Stable Foundation 机器人弄到 Discord 上呢？

    1. 没有下载 Discord 的朋友，需要先下载 Discord
    2. 在网页中打开这个网址 discord.com/invite/stablediffusion
    3. 将 Stable Foundation 加入到你的频道，或者在左上角这个输入框输入搜索：stable foundation 加入频道
    4. 加入后，在这里下面，随便选择一个机器人房间，就可以像 Midjourney 一样画图了(有时候可能房间比较拥挤，机器人并不理你，你可以换一个房间）