Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  2. Giraffe：世界上第一个商业可用的32K长上下文开源LLM（基于Llama-2）

    Giraffe是一个新的模型系列，它们是从已发布的基础LLaMA和LLaMA2模型进行微调的，其中包括了从LLaMA微调的4k Giraffe和16k Giraffe，以及从LLaMA2微调的32k Giraffe，并将它们的权重发布在HuggingFace上。Giraffe-32k在开源LLM领域成为一股强大的力量，Giraffe-32k可以执行更复杂的检索操作，出错更少，对于维护长时间对话或要求LLM帮助处理大型现有代码库至关重要。该研究强调了用于上下文长度探索的两种新方法。值得注意的是，ABACUS. AI的一种技术，称为truncation（截断），表现出极具潜力的结果。

    Blog | Paper | 项目地址

  4. ARM 汇编快速入门：本文主要分享如何快速上手 ARM 汇编开发的经验、汇编开发中常见的 Bug 以及 Debug 方法、用的 Convolution Dephtwise 算子的汇编实现相对于 C++ 版本的加速效果三方面内容。

  6. 分布式哈希表 (DHT) 和 P2P 技术 | 地址

    “相信没有人没使用过 P2P 技术. BT 种子和磁力链接就是最常见的 P2P 技术, 使用 P2P 技术, 文件不再需要集中存储在一台服务器上, 而是分散再各个用户的节点上, 每个人都是服务的提供者, 也是服务的使用者. 这样的系统具有高可用性, 不会由于一两台机的宕机而导致整个服务不可用. 那么这样一个系统是怎样实现的, 如何做到去中心化(decentralization)和自我组织(self-organization)的呢? 这篇文章我们来讨论一下这个问题.

    这篇文章先会介绍 P2P 网络的整体思路, 并引出 P2P 网络的主角 - 分布式哈希表(Distributed Hash Table, DHT); 接着会介绍两种分布式哈希表算法. 这些会让你对 P2P 技术有一个较为具体的了解.”

  7. 4篇系列博客介绍矢量数据库 | link | #数据库

    Vector databases (Part 1): 它们各自的不同之处在哪里？
    Vector databases (Part 2): 了解其内部结构
    Vector databases (Part 3): 并非所有索引都是一样的
    Vector databases (Part 4): 分析权衡

  8. 苏秦（suqin） 语言大模型全工具链 WebUI 整合包 | link

    本项目目标是实现目前各大语言模型的全流程工具 WebUI 整合包。不用写代码即可拥有自己的定制模型与专属应用

  9. John Ousterhout《软件设计哲学》的读书笔记（英文）

    “我大约18个月前读过《软件设计的哲学》。这是一本结构良好、简洁明了的读物，关于如何管理软件设计中的复杂性。我认为其中建议的方法并不适用于所有情况（John Ousterhout自己也这么说过），但我在书中发现了很多所描述的问题，并且发现它提供了一些有用的方式来阐述概念在代码审查中（比如：在一个代码库中添加一个浅层函数是否会增加复杂性，复杂性是否可以被降低到一个实现中，或者在哪里有用一致性的代码）。

    下面是我从这本书中得出的笔记和我对一些想法的看法（不包括我曾经参与过的一些真实代码的有趣参考）。我将这些笔记发布出来，因为这是我重新阅读并记住这些信息的好方法。”

    A philosophy of software design

  12. 一个VSCode的插件，可以实现类似于GitHub Copilot的功能，能生成代码、聊天、重构、写测试代码等，并且它可以支持多种不同的LLM，例如OpenAI、Judini、Cohere、AI21、Anthropic 或 GPT4All。现在它已经支持了Meta最新的CodeLlama

    CodeGPT | #插件

  14. openagent：模块化组件库和编排框架，受微服务方法的启发，为开发人员提供构建强大、稳定和可靠的人工智能应用程序和实验性自主智能体所需的所有组件

  16. CMLM-ZhongJing（中医大语言模型-仲景）

    中医大语言模型，灵感来自中国古代杰出医家张仲景的智慧。 该模型旨在阐明中医博大精深之知识，传承古代智慧与现代技术创新，最终为医学领域提供可信赖和专业的工具。然而，目前所有产生的结果仅供参考，应由经验丰富的专业人员提供诊断和治疗结果和建议。