Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. Shark 是一种旨在提供 Lua 的速度和大小的语言，同时还提供熟悉的 Python 语法和在浏览器中运行的能力。

    总体而言，Shark 是一种非常通用的语言，可用于使用单一代码库、命令行工具以及任何您可以想象的使用 python、lua、javascript、java 可用的现有库和系统来构建 web/桌面/移动应用程序和游戏和本机代码。这包括轻松地将 tiny shark VM 嵌入到任何 java 或本机项目中。

    特征
    用 C 编写的快速轻量级本机虚拟机
    具有最小依赖性的小包大小 (50 KB)
    可以在浏览器中使用并编译成可移植的 ECMAScript 代码
    包括用于小型游戏开发的微型便携式 2D 游戏框架
    通过将它们作为编译输出向后兼容 Python 和 Lua 库和环境
    VM 和 2D 游戏框架的官方 Java 虚拟机实现

  2. Intel® Extension for Transformers 是一种创新工具包，可在英特尔平台上加速基于 Transformer 的模型，尤其适用于第 4 代英特尔至强可扩展处理器 Sapphire Rapids（代号为 Sapphire Rapids）。

    该工具包提供以下主要功能和示例：

    通过扩展Hugging Face transformers API 和利用英特尔® Neural Compressor，在基于 Transformer 的模型上进行模型压缩的无缝用户体验

    高级软件优化和独特的压缩感知运行时（与 NeurIPS 2022 的论文Fast Distilbert on CPUs and QuaLA-MiniLM: a Quantized Length Adaptive MiniLM和 NeurIPS 2021 的论文Prune Once for All: Sparse Pre-Trained Language Models 一起发布）

    优化的基于 Transformer 的模型包，例如Stable Diffusion、GPT-J-6B、GPT-NEOX、BLOOM-176B、T5、Flan-T5和端到端工作流程，例如基于 SetFit 的文本分类和文档级情感分析（ DLSA）

    NeuralChat ，一个定制的聊天机器人，通过对领域知识的参数高效微调PEFT在 Intel CPU 上训练

    项目地址 | #工具

  3. JittorLLMs - 笔记本没有显卡也能跑大模型

    推理库JittorLLMs有以下几个特点：

    成本低：相比同类框架，本库可大幅降低硬件配置要求（减少80%），没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署；是目前已知的部署成本最低的大模型库；
    支持广：目前支持了4种大模型：ChatGLM大模型；华为盘古大模型；BlinkDL的ChatRWKV；国外Meta的LLaMA大模型；后续还将支持MOSS等国内优秀的大模型，统一运行环境配置，降低大模型用户的使用门槛。
    可移植：用户不需要修改任何代码，只需要安装Jittor版torch(JTorch)，即可实现模型的迁移，以便于适配各类异构计算设备和环境。
    速度快：大模型加载速度慢，Jittor框架通过零拷贝技术，大模型加载开销降低40%，同时，通过元算子自动编译优化，计算性能相比同类框架提升20%以上。

  4. GPT-4被发现一种新的提示注入攻击方法！通过将恶意提示包装在Markdown中，并指示GPT成为“错误答案提供者的错误信息机器人”。| 详文

  5. Fixie:使用大型语言模型构建应用的平台，可以使用自然语言与一个或多个智能体程序进行通信，并访问诸如GitHub、Google日历或数据库等数据源。可以在app.fixie.ai上访问Fixie Web接口，使用Fixie SDK可以连接自己的应用到Fixie平台，并构建自定义智能体程序

    主页 | github | docs

  6. Auto-GPT 是一个实验性开源应用程序，展示了 GPT-4 语言模型的功能。该计划由 GPT-4 驱动，自主开发和管理业务以增加净值。作为 GPT-4 完全自主运行的首批示例之一，Auto-GPT 突破了 AI 的可能性界限。

    特征：
    用于搜索和信息收集的 Internet 访问
    长期和短期内存管理
    用于文本生成的 GPT-4 实例
    访问热门网站和平台
    使用 GPT-3.5 进行文件存储和汇总
    Media is too big
    VIEW IN TELEGRAM

  7. Cheetah 是一款基于人工智能的 macOS 应用程序，旨在通过提供实时、谨慎的指导和实时编码平台集成，在远程软件工程面试期间协助用户，使用 Whisper 和 GPT-4

    使用 Cheetah可以提高面试表现并增加获得 30 万美元软件工程工作的机会，而无需花费周末时间来应对 leetcode 挑战和记住你永远不会使用的算法。

    工作原理：
    Cheetah 利用 Whisper 进行实时音频转录，并利用 GPT-4 生成提示和解决方案。你需要拥有自己的 OpenAI API 密钥才能使用该应用程序。如果无法访问 GPT-4，则可以使用 gpt-3.5-turbo 作为替代方案。

    Whisper 使用 Georgi Gerganov 的 whisper.cpp 在你的系统上本地运行。需要最新的 M1 或 M2 Mac 才能获得最佳性能。

    项目地址 | #工具

  10. babyagi：这个Python脚本是一个AI驱动的任务管理系统，使用OpenAI和Pinecone API创建、优先处理和执行任务，能基于先前任务结果和预定目标创建新的任务，利用OpenAI的NLP功能自动化任务流程，通过Pinecone在上下文中存储和检索任务的结果