Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. Fluid Database：可以根据摄取的数据更新其架构的“流体”自适应数据库，支持以自然语言以及半结构化格式输入数据，既支持传统查询语言，也支持直观的自然语言查询。

  2. SGLang：为大型语言模型(LLM)设计的结构化生成语言，旨在加速和更好地控制与LLM的交互。

    特点包括：灵活的前端语言，允许轻松编程LLM应用，支持多个连锁生成调用、高级提示技术、控制流、多模式、并行处理和外部交互；具备高性能运行时，使用RadixAttention可以显著加速复杂LLM程序的执行，自动跨多个调用重复使用KV缓存，同时支持连续批处理和张量并行处理。

  4. Inferflow：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Transformer模型提供服务。

    主要特点
    可扩展且高度可配置：使用 Inferflow 服务新模型的典型方法是编辑模型规范文件，但不添加/编辑源代码。我们在 Inferflow 中实现了原子构建块和技术的模块化框架，使其在组合上可推广到新模型。如果该模型中的原子构建块和技术（对于 Inferflow）“已知”，则 Inferflow 可以为该新模型提供服务。
    3.5位量化：Inferflow实现2位、3位、3.5位、4位、5位、6位和8位量化。在量化方案中，3.5位量化是Inferflow推出的新方案。
    多GPU推理的混合模型分区：Inferflow支持多GPU推理，具有三种模型分区策略可供选择：按层分区（管道并行）、按张量分区（张量并行）和混合分区（混合并行） ）。其他推理引擎很少支持混合分区。
    宽文件格式支持（并安全加载pickle数据）：Inferflow支持直接加载多种文件格式的模型，而不依赖于外部转换器。支持的格式包括pickle、safetensors、llama.cpp gguf等。众所周知，使用Python代码读取pickle文件存在安全问题。通过在 C++ 中实现简化的 pickle 解析器，Inferflow 支持从 pickle 数据安全地加载模型。
    广泛的网络类型支持：支持三种类型的变压器模型：仅解码器模型、仅编码器模型和编码器-解码器模型。
    GPU/CPU混合推理：支持仅GPU、仅CPU、GPU/CPU混合推理。

  6. Datadrift：开源的监控和事件管理平台，旨在帮助数据团队交付可信赖的指标。该平台提供了指标的可观测性和故障排除功能，与静态测试和元数据监控不同，侧重于行级监控和故障排除，使数据团队能够更快地检测和解决数据问题。

    Website | Issues | Blog | Doc | Roadmap | github

  7. Marlin：混合自回归线性核(Mixed Auto-Regressive Linear kernel)，一个经过高度优化的FP16xINT4矩阵乘法核，用于LLM推理，可以在批量大小为16-32个token的情况下实现接近理想的约4倍加速。

  8. “茴香豆”是一个基于 LLM 的领域知识助手。特点：

    1.应对群聊这类复杂场景，解答用户问题的同时，不会消息泛滥
    2.提出一套解答技术问题的算法 pipeline
    3.部署成本低，只需要 LLM 模型满足 4 个 trait 即可解答大部分用户问题

  9. Privy：注重隐私的编程助手，可在本地系统上运行候选平台的LLM(语言模型)，可以选择Mistral、CodeLLama等热门的LLM。安装Privy扩展可以从Visual Studio Code Marketplace或Open VSX Registry进行

  11. LLMPlus：一个 python 包，允许Python开发者使用不同的大型语言模型(LLM)并通过简单的界面进行提示工程，提供了加载LLM模型、嵌入模型和向量数据库的类，以创建带有自己的提示工程和RAG技术的LLM应用。

  12. Jute：用于交互式计算的本地笔记本，通过双击打开任意Jupyter Notebook，提供了一个精美的桌面应用，可以在强大的远程内核上运行40种编程语言的代码，并支持实时多人协作。

    Jute的目标是简化Jupyter前端，以提高速度、简单性和易用性，尤其强调了无需繁琐的安装、加载时间、不安全的浏览器环境、内核设置等问题，使用户能够轻松编写交互式代码和共享交互式文档。

  14. Cubzh：一个用C/C++和Lua编写的在线平台，允许用户使用与Lua脚本配对的立方体创建物品、环境和游戏。它受到Roblox和Minecraft的启发，具有易于使用的脚本环境和免费的服务器，可进行即时多人游戏，旨在释放类似Roblox中所见的创造力。

  15. 黑洞资源笔记
    bestsimilar.com：这个网站全球排名758383，总部设于美国，功能是可以在搜索栏输入一部电影名称（英文）从而寻找到与此部电影类似的电影。 vk.com/video：vk是俄罗斯最大的社交媒体平台。因为俄罗斯对版权的限制比较宽松，所以vk的视频区拥有大量网友上传的电影。你可以尝试随意输入一个电影片名，只要不是太冷门几乎都可以找到（包括中文电影），而且无广告，无屏障，点开即看，同时可以使用idm等工具将视频下载保存。 ohmygore.com: 一个非常老牌且权威的血腥恐怖类电影资讯站，含有非常多稀有冷门的血恐作品。…
    clubeharuhi 日本春日俱乐部，一个比较大型的日影资源在线站，内容非常丰富，包含宗教、数学、教育、世界遗产、漫画、文学、影片等等

    whereyouwatch：一个指引你获取最新电影资源的网站（互联网资源or实体零售），且会标记出资源的详细信息，但是这个网站不会直接去给你下载地址，而是会告诉你在哪里可以下载到这个电影，通过这个网站你可以了解更多可以下载最新电影的站点，同时有效避免了版权的纠纷。当然网站的局限就是对于比较热门的最新电影会提供指引方向，一些稀有电影或者特别冷门的电影它这边是无能为力的，但仍可以作为收藏使用。

  16. Netkiller 系列电子书 | 在线观看 | #电子书

    更新了超过20年的电子书系列，覆盖面很全
    - Network: Firewall, Router, Switch, Cisco, H3C, Juniper,F5 Big-IP, Array
    - OS: Linux, FreeBSD, CentOS, Redhat, Ubuntu, Debian
    - Security: OpenVPN, L2TP, PPTP, IPSec IP Tunnel
    - Cluster: SmartDNS, LVS, HAproxy, Keepalived, Heartbeat, MooseFS, GlusterFS
    - Web App: Apache, Lighttpd, Nginx, Tomcat, Resin
    - Web Dev: DIV-CSS, JQuery, Prototype, DSSSL, SGML, XML, DocBook, Google Map API
    - Cache: APC Cache, XCache, Memcached, Squid, Varnish
    - Database: PostgreSQL, MySQL Cluster, MySQL Replication, Cassandra, MongoDB
    - PHP Frameworks: CodeIgniter, Prado, Mach II, Qcodo, Smarty
    - Python Frameworks: Django, Pylons
    - Perl Frameworks: Catalyst
    - Search Engine: Solr, Sphinx, Crawler: Nutch
    - Virtualization: Xen, Kvm, OpenVZ

  17. AI Gateway（AI 网关）：通过统一简单的 API，让你轻松快速接入 100 多种大语言模型，如 OpenAI、Anthropic、Mistral、LLama2、Google Gemini 等。| #工具
    特点：

    占用空间极小，仅仅约 45kb，但其处理速度极快，达到快 9.9 倍。可以同时连接多个模型，并能处理多个模型、服务提供商和密钥之间的负载平衡。

    设置故障转移机制，当一个模型出现无法使用情况，可自动切换到可用模型，确保你的应用持续稳定运行。默认配置自动重试，并采用指数回退策略，进一步提高请求的稳定性。

    可根据需求添加中间件，满足你个性化需求。已经在超过 100B Tokens 上进行了实战测试。