Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. JittorLLMs - 笔记本没有显卡也能跑大模型

    推理库JittorLLMs有以下几个特点：

    成本低：相比同类框架，本库可大幅降低硬件配置要求（减少80%），没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署；是目前已知的部署成本最低的大模型库；
    支持广：目前支持了4种大模型：ChatGLM大模型；华为盘古大模型；BlinkDL的ChatRWKV；国外Meta的LLaMA大模型；后续还将支持MOSS等国内优秀的大模型，统一运行环境配置，降低大模型用户的使用门槛。
    可移植：用户不需要修改任何代码，只需要安装Jittor版torch(JTorch)，即可实现模型的迁移，以便于适配各类异构计算设备和环境。
    速度快：大模型加载速度慢，Jittor框架通过零拷贝技术，大模型加载开销降低40%，同时，通过元算子自动编译优化，计算性能相比同类框架提升20%以上。

  2. GPT-4被发现一种新的提示注入攻击方法！通过将恶意提示包装在Markdown中，并指示GPT成为“错误答案提供者的错误信息机器人”。| 详文

  3. Fixie:使用大型语言模型构建应用的平台，可以使用自然语言与一个或多个智能体程序进行通信，并访问诸如GitHub、Google日历或数据库等数据源。可以在app.fixie.ai上访问Fixie Web接口，使用Fixie SDK可以连接自己的应用到Fixie平台，并构建自定义智能体程序

    主页 | github | docs

  4. Auto-GPT 是一个实验性开源应用程序，展示了 GPT-4 语言模型的功能。该计划由 GPT-4 驱动，自主开发和管理业务以增加净值。作为 GPT-4 完全自主运行的首批示例之一，Auto-GPT 突破了 AI 的可能性界限。

    特征：
    用于搜索和信息收集的 Internet 访问
    长期和短期内存管理
    用于文本生成的 GPT-4 实例
    访问热门网站和平台
    使用 GPT-3.5 进行文件存储和汇总
    Media is too big
    VIEW IN TELEGRAM

  5. Cheetah 是一款基于人工智能的 macOS 应用程序，旨在通过提供实时、谨慎的指导和实时编码平台集成，在远程软件工程面试期间协助用户，使用 Whisper 和 GPT-4

    使用 Cheetah可以提高面试表现并增加获得 30 万美元软件工程工作的机会，而无需花费周末时间来应对 leetcode 挑战和记住你永远不会使用的算法。

    工作原理：
    Cheetah 利用 Whisper 进行实时音频转录，并利用 GPT-4 生成提示和解决方案。你需要拥有自己的 OpenAI API 密钥才能使用该应用程序。如果无法访问 GPT-4，则可以使用 gpt-3.5-turbo 作为替代方案。

    Whisper 使用 Georgi Gerganov 的 whisper.cpp 在你的系统上本地运行。需要最新的 M1 或 M2 Mac 才能获得最佳性能。

    项目地址 | #工具

  8. babyagi：这个Python脚本是一个AI驱动的任务管理系统，使用OpenAI和Pinecone API创建、优先处理和执行任务，能基于先前任务结果和预定目标创建新的任务，利用OpenAI的NLP功能自动化任务流程，通过Pinecone在上下文中存储和检索任务的结果