Skip to main content

黑洞资源笔记

  1. C++服务器开发精髓 | 在线阅读 | #电子书

    本书从操作系统原理角度讲解进行C++服务器开发所需掌握的技术栈。

    全书总计9章:
    第1~2章讲解C++ 11/14/17新标准中的常用特性、新增类库,以及C++开发者必须熟练掌握的开发调试工具链;
    第3~6章详细讲解C++服务器开发中的多线程编程技术、网络编程重难点知识、网络故障调试与排查常用工具,以及通信协议的设计思路、技巧;
    第7~8章详细讲解一个带网络通信组件的高性能服务的基本设计思路和注意事项;
    第9章进一步补充服务相关的常用模块设计思路和方法。

    本书秉承的思想是,通过掌握技术原理,可以轻松制造“轮子”,灵活设计出优雅、鲁棒的服务,并快速学习新技术。另外该网站上还有作者写的源码分析系列文章
  2. datawhale的教学项目:大模型基础

    本项目旨在作为一个大规模预训练语言模型的教程,从数据准备、模型构建、训练策略到模型评估与改进,以及模型在安全、隐私、环境和法律道德方面的方面来提供开源知识。

    项目将以斯坦福大学大规模语言模型课程和李宏毅生成式AI课程为基础,结合来自开源贡献者的补充和完善,以及对前沿大模型知识的及时更新,为读者提供较为全面而深入的理论知识和实践方法。通过对模型构建、训练、评估与改进等方面的系统性讲解,以及代码的实战,我们希望建立一个具有广泛参考价值的项目。

    项目受众
    人工智能、自然语言处理和机器学习领域的研究者和从业者:该项目旨在为研究者和从业者提供大规模预训练语言模型的知识和技术,帮助他们更深入地了解当前领域的最新动态和研究进展。
    学术界和产业界对大型语言模型感兴趣的人士:项目内容涵盖了大型语言模型的各个方面,从数据准备、模型构建到训练和评估,以及安全、隐私和环境影响等方面。这有助于拓宽受众在这一领域的知识面,并加深对大型语言模型的理解。
    想要参与大规模语言模型开源项目的人士:本项目提供代码贡献和理论知识,降低受众在大规模预训练学习的门槛。
    其余大型语言模型相关行业人员:项目内容还涉及大型语言模型的法律和道德考虑,如版权法、合理使用、公平性等方面的分享,这有助于相关行业从业者更好地了解大型语言模型的相关问题。

    项目亮点
    项目的及时性:当前大模型发展迅速,社会和学习者缺少较为全面和系统的大模型教程
    项目可持续性:当前大模型发展还在初期阶段,对行业的渗透还未全面展开,因此随着大模型的发展,该项目可持续的为学习者提供帮助
  3. 一个基于Webgpu技术和wasm技术的免费开源图片修复和图像高清化工具,完全在浏览器端实现。可以通过Demo链接体验其强大功能。

    项目路线图包括图像修改历史记录、模型优化、后处理集成、超分辨率等,为用户提供更好的图像处理体验。通过npm命令快速搭建开发环境,方便进行项目贡献与扩展。

    Inpaint-web | #工具
  4. 一篇技术短文,非常深入地讲解了数据库里的null和编程语言里的null,为什么有不同的含义:编程语言里的null是一个值(value),而数据库里的null不是一个值(value),它表示值不存在。所以这就可以理解一个现象:为什么在SQL中null和null没法比较,它既不是“等于”它自己,它也不是“不等于”它自己 | link
  5. 练手项目TinyAgent: 基于ReAct手搓一个Agent Demo

    “这里基于ReAct的方式,我们手动制作了一个最小的Agent结构(其实更多的是调用工具),暑假的时候会尝试将React结构修改为SOP结构。

    一步一步手写Agent,可能让我对Agent的构成和运作更加的了解。以下是ReAct论文中一些小例子。”
  6. 从零实现一个k-v存储引擎

    引语:“写这篇文章的目的,是为了帮助更多的人理解 rosedb,我会从零开始实现一个简单的包含 PUT、GET、DELETE 操作的 k-v 存储引擎。

    你可以将其看做是一个简易版本的 rosedb,就叫它 minidb 吧(mini 版本的 rosedb)。

    无论你是 Go 语言初学者,还是想进阶 Go 语言,或者是对 k-v 存储感兴趣,都可以尝试自己动手实现一下,我相信一定会对你帮助很大的。”
  7. LSM in a Week | #教程

    本课程将教你如何使用Rust语言构建一个简单的LSM树存储引擎。
    “日志结构合并树(Log-structured merge trees,简称LSM树)是一种用于维护键值对的数据结构。这种数据结构在分布式数据库系统,如TiDB和CockroachDB中被广泛使用,作为它们底层的存储引擎。基于LevelDB的RocksDB,是LSM树存储引擎的一个实现。它提供了许多键值访问功能,并在许多生产系统中使用。

    本教程是一个包含多个部分(周)的广泛课程。每周有七个章节;你可以在2到3小时内完成每个章节。每个部分的前六章将指导你构建一个工作系统,而每周的最后一章将是小吃时间章节,它将实现一些在你之前六天构建的基础上的简单事物。每个章节都将有必需的任务、检查你的理解问题和奖励任务。
  8. 本文翻译自经典英文论文《Architecture of a Database System》,原文作者是 Joseph M.Hellerstein, Michael Stonebraker 和 James Hamilton。翻译由厦门大学数据库实验室林子雨老师团队合力完成

    该论文可以作为中国各大高校数据库实验室研究生的入门读物,帮助学生快速了解数据库的内部运行机制。

    本文一共包括8章,分别是:第1章概述,第2章进程模型,第3章并行体系结构:进程和内存协调,第4章关系查询处理器,第5章存储管理,第6章事务:并发控制和恢复,第7章共享组件,第8章结束语。
    Architecture-of-a-Database-System.pdf
    2 MB
  9. Meta/Facebook 超大规模 AI/GPU 基础设施设计 | blog

    本文翻译自 2024 年 Meta/Facebook 的一篇文章: Building Meta’s GenAI Infrastructure。作为对未来人工智能的重要投资,Meta 打造了两个大规模 AI 集群,每个集群由 2.4w 张 GPU 组成, 本文分享其计算、网络、存储等设计细节。

    🌟 两个 GPU 集群,每个集群 2.4w H100,分别用 RoCE/InfiniBand 网络;
    🌟 LLaMA3 就是在这两个集群上训练出来的;
    🌟 预计到 2024 年底,Meta AI 基础设施建设将拥有 35w 张 H100 GPU,总算力相当于约 60w 张 H100。
  10. 技术博客:被删的前端游乐场 | #博客 #前端

    内容主要分三部分:
    前端基础+补充:补齐前端基础知识,掌握开发调试技巧。补齐纯前端的缺失知识,更从容地面对面试官。

    Vue学习:学习和理解 Vue 基础,学会使用 Vue 快速编写 Web 应用。

    小程序学习:理解小程序框架原理,掌握踩坑必备指南。