数据恢复和数字取证往往需要用到复杂且分散的工具,操作起来既费时又容易出错。

Digler 是一款开源的取证级磁盘分析和文件恢复工具,集深度磁盘扫描、文件碎片重组与灵活插件扩展于一体,支持多种磁盘镜像和物理设备,能够恢复各种文件系统中的丢失数据。| #工具

它不仅提供了命令行界面满足专业脚本化需求,还有现代化的桌面应用适合日常操作,兼顾易用性和强大功能。

主要特点:

- 支持多种磁盘镜像格式及原始设备读取;
- 文件系统无关的深度扫描,支持NTFS、FAT32、ext4等;
- 插件架构支持自定义文件扫描器,方便扩展新格式;
- 生成符合数字取证XML标准的详细报告;
- 通过扫描报告精准恢复指定文件;
- 提供命令行和桌面双接口,灵活适配不同用户习惯。

适合数字取证专家、数据恢复工程师及技术爱好者使用。
多代理协作新思路 | Pontus Abrahamsson 分享了一个高效的 AI 代理管理架构

- 管理层 → 子代理 → 工具集
一个总规划者负责分配任务到专注型子代理(发票、报表、预测等),每个子代理管理6-12个专用工具。

- 智能调度与动态切换
自研基于 Vercel AI SDK 的“编排者”智能判断何时交接对话,支持多轮、多代理无缝协作,传递上下文和切换原因,保持完整会话历史。

- 多代理协同的挑战与思考
当多个子代理需要同时提供上下文时,如何避免信息割裂导致的幻觉(hallucinations)?建议针对高频用例设计代理子集直接协作,提升准确性。

- 开源与落地
相关代码已部分开源,适配多场景,正在不断打磨中,期待更完善的多代理产品形态。

- 行业反馈
该架构已获得社区广泛认可,适合构建复杂多任务AI系统,但大规模用户时成本需考量。

这套多代理架构为复杂AI应用提供了系统化的解决方案,兼顾灵活性和可维护性,是推动AI产品实用化的重要一步。
@milan_milanovic 读《Google软件工程》心得分享

这本书不是教你写代码,而是揭秘Google如何通过工程实践维护健康、可持续的代码库。干货满满,值得每位工程师细读。

核心启示:

1 软件工程 ≠ 只是编程
编程解决当下任务,软件工程关注代码的未来演变、可维护性、扩展性和规模化。
𝟮 Hyrum定律 & Beyoncé规则
- Hyrum定律:API用户多了,系统所有可观察行为都会被依赖,合同承诺不管用。
- Beyoncé规则:用户喜欢的bug就得写测试,修bug时测试会报错,你也得改他的代码。
𝟯 早发现,早修复(Shift Left)
- 静态分析、快速单元测试、集成测试、代码审查和QA都是降低成本的关键。
𝟰 自动化是团队扩展的核心
代码格式化、lint工具、CI流水线……自动化减轻重复劳动,保持效率。
𝟱 小心“虚假测试”
过度依赖stubs/mocks掩盖真实行为,Google推荐用fakes,更接近真实。
𝟲 小步快跑发布更稳健
小版本更易管理、回滚和理解。
𝟳 依赖升级要早、快、频繁
小幅更新风险低,方便及时调整。
编程学习资源多样,但找到一套系统、涵盖基础算法到网络编程的C语言项目并不容易。

Project Box 是一个开源的C语言项目合集,专为初学者设计,涵盖算法、游戏、网络编程等多个方向,每个项目都附带源码、构建配置和详细说明,方便学习和实践。

主要项目包括:

- SHA-512 加密算法实现,涵盖位操作和内存管理;
- 简易HTTP服务器,学习socket编程和网络通信;
- UDP客户端-服务器示例,掌握UDP协议和消息交换;
- 端口扫描工具,理解TCP编程和扫描技巧;
- 自定义Ping工具,熟悉ICMP协议和网络诊断;
- 井字棋游戏,实现多人游戏逻辑和终端交互;
- 实时聊天系统,涉及多线程和TCP通信;
- 词法分析器,演示词法解析和编译器设计;
- 算术表达式编译器,学习表达式解析和汇编代码生成;
- 终端小型飞船游戏,体验游戏状态管理和碰撞检测。

适合有一定C语言基础,想通过实战提升算法和网络技能的开发者。
Andrew Ng 推出全新课程《Agentic AI》!

AI智能体开发正成为职场最抢手技能。这门课程系统教授4大关键设计模式:

1. 反思(Reflection)——智能体自我审视输出,持续改进;
2. 工具调用(Tool use)——结合大语言模型(LLM)调用搜索、日历、邮件、编程等功能;
3. 规划(Planning)——用LLM拆解任务,合理分配子任务执行;
4. 多智能体协作(Multi-agent collaboration)——构建多个专职智能体协同完成复杂任务。

课程还教你如何将复杂应用拆解成任务序列,系统应用这些模式。

最重要的是,Andrew Ng强调严谨的评估和错误分析流程是成功执行的关键。课程传授如何基于数据精准定位改进点,避免盲目试错,极大提升开发效率和质量。

课程采用纯Python实现,框架中立,帮助你深入理解底层原理,适合熟悉Python且了解LLM基础的学员,无论未来用哪个框架都能轻松上手。

未来,掌握Agentic AI设计模式,将让你在AI浪潮中抢占先机,打造真正能自主解决复杂问题的智能系统。
无限大的餐巾纸》| #电子书

这是一本浅显易懂且大部分内容自成一体的高等数学入门书籍,涵盖的范围大致从本科课程到研究生第一年的内容。

该书提供了各个领域的主旨概览,讲述了它们的魅力所在。它不像传统教科书那样详细,但比通俗数学书籍更为精准,并假设读者具备一定的证明经验。例如,定义和定理的表述通常会是完整且准确的,但对于结果为何“应当”成立的解释会优先于正式证明。

本书的目标仅仅是让读者对某个特定主题有所感觉,而不是要模拟一整个学期的课程。

作者最初写这本书时,心中设想的读者是那些才华横溢的高中生,尤其是有数学奥林匹克竞赛背景的学生。这种文化偏好的些许痕迹在书中仍随处可见,尤其体现在那些选自数学竞赛的各类挑战题中。
Large Language Model Optimization: Memory, Compute, and Inference Techniques

大型语言模型(LLM)训练与推理的优化技术总结:

随着模型参数规模达到数十亿,传统训练和部署方法面临巨大挑战。本文凝练了业内主流且高效的优化思路,涵盖内存、计算和推理三大核心方向,适合对大模型优化感兴趣的技术人员和面试准备者参考。

一、显存优化
- Flash Attention:通过“切块计算+重算”降低注意力机制的内存复杂度,从全矩阵处理变为分块处理,仅保存归一化因子,显著减小内存占用。
- 多查询注意力(MQA/GQA):共享键值减少内存,分组查询权衡效率与质量。
- 激活检查点:保存部分激活,训练时重算其余,降低显存压力。

二、计算优化
- 序列打包:将多条训练序列拼接,消除padding,提升GPU利用率。
- 高效Transformer:借助BigBird、Longformer等局部+全局注意力,实现长序列线性复杂度。
- 低秩近似与层级扩张注意力:进一步降低计算量,支持更大规模输入。

三、推理优化
- KV缓存:缓存历史键值,避免重复计算,提升生成速度和内存效率。
- 状态缓存:用滚动哈希和LRU算法管理对话历史,支持缓存复用。
- 推测解码:先用小模型快速生成候选,再用大模型验证,推理速度提升2-3倍。
- 量化技术:8位、混合精度和量化感知训练,在保证精度前提下极大压缩模型大小。

四、训练优化
- 混合精度训练:bfloat16结合动态loss scaling,兼顾速度和数值稳定。
- 数据并行与ZeRO优化:通过分割参数、梯度和优化器状态,实现显存极限压缩。
- 流水线并行:GPipe、PipeDream等减少GPU空闲,支持多阶段并行执行。
- 张量并行:列切分和行切分矩阵乘法,实现大模型跨设备高效计算。
- 上下文并行:序列长度分割多GPU,结合先进通信协议保证效率。
- 专家并行(MoE):引入专家子网,路由不同token至不同专家,显著扩展模型容量,同时需解决负载均衡。

优化大模型是一项系统工程,需多维度平衡内存、计算和通信开销。本文汇总的核心技术涵盖了当前业界最前沿的思路,有助于理解和掌握大模型训练与推理的关键瓶颈及解决方案。未来,随着模型规模持续增长,这些优化策略将愈发重要。
Jason Zhou 分享了如何通过“上下文工程”(Context Engineering)和完善的文档系统,让 Claude Code 在复杂代码库中的表现提升10倍,干货满满,值得深度学习:

1. 上下文工程是关键
Claude Code 默认接收系统提示(System prompt)、系统工具、MCP工具、CLAUDE.md文档和消息。使用 /context 指令可以查看上下文结构,合理设计上下文能极大提升代码智能生成质量。

2. 子代理(Sub-agent)管理上下文
子代理适合只读任务(如调研),能将大量信息浓缩成关键摘要,帮助主代理聚焦核心内容,避免上下文爆炸。

3. 高效的文档系统至关重要
Jason推荐建立 .agent 文件夹,包含:
- System:项目结构、技术栈、数据库模式、关键模块
- SOP:常见错误及最佳实践流程
- Tasks:产品需求文档(PRD)
- README:文档总目录,支持管理大型代码库

这个结构借鉴了 Manus 的本地缓存上下文卸载思路,能处理复杂项目。

4. 自动更新文档
设计 /update-doc 命令,代理每完成关键功能或修正错误后自动更新文档,保持知识库与代码同步,防止“上下文漂移”。

5. 实践案例:管理遗留代码库
@ODMtweets 分享了用类似方法管理基于 WordPress 的大规模遗留代码库。为每个类生成文档,并配合定制代理模式,显著提升了代理对旧代码的理解和操作效率。

上下文工程改变游戏规则:合理设计上下文不仅提升效率,还能让初级开发者产出接近资深水平。
- 文档驱动开发(DDD)落地:结合PRD和细化任务计划,让AI协助代码实现与评审,形成闭环。
- 防止提示漂移:保持文档即时更新和子代理分工,避免上下文信息丢失或偏离目标。
- 成本与收益权衡:更智能的上下文管理虽增加计算成本,但带来的开发效率提升远超投入。
OpenZL 是 Meta 开源的高性能数据压缩框架,兼具极高压缩率和超快速度,专门针对特定格式的数据打造专属压缩器,远超通用压缩工具的表现。| #框架

它由核心库和生成专用压缩器的工具组成,支持单一通用解压器,特别适合需要处理海量专业数据(如 AI 训练数据)的工程师们。

主要特点:

- 针对数据格式定制压缩方案,压缩率和速度双优;
- 提供通用解压器,兼容所有生成的压缩数据;
- 支持多线程构建,适配多平台(Web、Windows、macOS等);
- 活跃开发中,Meta 已在生产环境广泛使用;
- 提供丰富文档和快速入门教程,方便快速上手。
很多实时流式数据传输场景中,网络断开导致数据丢失是个难题。

resumable-stream 是一个开源库,专为 Web 流(比如 SSE)设计,支持客户端断点续传和多客户端同步跟随。

它基于 Redis 的发布订阅机制,能在无状态无粘性负载均衡的服务器环境下稳定工作,且优化了延迟和 Redis 资源消耗,日常使用时性能开销极小。

主要功能:
- 支持客户端断线后从断点恢复数据流
- 多客户端可同时订阅同一流,保持数据同步
- 适用于服务器无状态架构(Serverless)
- 与 Next.js 等现代框架兼容,API 简洁易用
- 支持 ioredis 作为 Redis 客户端替代方案

适合需要实时流数据可靠传输、断点续传功能的 Web 开发者和产品,特别是事件流、消息推送等场景。
轻松实现流式数据的高可用和多端同步体验。
Back to Top