数据恢复和数字取证往往需要用到复杂且分散的工具,操作起来既费时又容易出错。
Digler 是一款开源的取证级磁盘分析和文件恢复工具,集深度磁盘扫描、文件碎片重组与灵活插件扩展于一体,支持多种磁盘镜像和物理设备,能够恢复各种文件系统中的丢失数据。| #工具
它不仅提供了命令行界面满足专业脚本化需求,还有现代化的桌面应用适合日常操作,兼顾易用性和强大功能。
主要特点:
- 支持多种磁盘镜像格式及原始设备读取;
- 文件系统无关的深度扫描,支持NTFS、FAT32、ext4等;
- 插件架构支持自定义文件扫描器,方便扩展新格式;
- 生成符合数字取证XML标准的详细报告;
- 通过扫描报告精准恢复指定文件;
- 提供命令行和桌面双接口,灵活适配不同用户习惯。
适合数字取证专家、数据恢复工程师及技术爱好者使用。
Digler 是一款开源的取证级磁盘分析和文件恢复工具,集深度磁盘扫描、文件碎片重组与灵活插件扩展于一体,支持多种磁盘镜像和物理设备,能够恢复各种文件系统中的丢失数据。| #工具
它不仅提供了命令行界面满足专业脚本化需求,还有现代化的桌面应用适合日常操作,兼顾易用性和强大功能。
主要特点:
- 支持多种磁盘镜像格式及原始设备读取;
- 文件系统无关的深度扫描,支持NTFS、FAT32、ext4等;
- 插件架构支持自定义文件扫描器,方便扩展新格式;
- 生成符合数字取证XML标准的详细报告;
- 通过扫描报告精准恢复指定文件;
- 提供命令行和桌面双接口,灵活适配不同用户习惯。
适合数字取证专家、数据恢复工程师及技术爱好者使用。
- 管理层 → 子代理 → 工具集
一个总规划者负责分配任务到专注型子代理(发票、报表、预测等),每个子代理管理6-12个专用工具。
- 智能调度与动态切换
自研基于 Vercel AI SDK 的“编排者”智能判断何时交接对话,支持多轮、多代理无缝协作,传递上下文和切换原因,保持完整会话历史。
- 多代理协同的挑战与思考
当多个子代理需要同时提供上下文时,如何避免信息割裂导致的幻觉(hallucinations)?建议针对高频用例设计代理子集直接协作,提升准确性。
- 开源与落地
相关代码已部分开源,适配多场景,正在不断打磨中,期待更完善的多代理产品形态。
- 行业反馈
该架构已获得社区广泛认可,适合构建复杂多任务AI系统,但大规模用户时成本需考量。
这套多代理架构为复杂AI应用提供了系统化的解决方案,兼顾灵活性和可维护性,是推动AI产品实用化的重要一步。
这本书不是教你写代码,而是揭秘Google如何通过工程实践维护健康、可持续的代码库。干货满满,值得每位工程师细读。
核心启示:
1 软件工程 ≠ 只是编程
编程解决当下任务,软件工程关注代码的未来演变、可维护性、扩展性和规模化。
𝟮 Hyrum定律 & Beyoncé规则
- Hyrum定律:API用户多了,系统所有可观察行为都会被依赖,合同承诺不管用。
- Beyoncé规则:用户喜欢的bug就得写测试,修bug时测试会报错,你也得改他的代码。
𝟯 早发现,早修复(Shift Left)
- 静态分析、快速单元测试、集成测试、代码审查和QA都是降低成本的关键。
𝟰 自动化是团队扩展的核心
代码格式化、lint工具、CI流水线……自动化减轻重复劳动,保持效率。
𝟱 小心“虚假测试”
过度依赖stubs/mocks掩盖真实行为,Google推荐用fakes,更接近真实。
𝟲 小步快跑发布更稳健
小版本更易管理、回滚和理解。
𝟳 依赖升级要早、快、频繁
小幅更新风险低,方便及时调整。
Andrew Ng 推出全新课程《Agentic AI》!
AI智能体开发正成为职场最抢手技能。这门课程系统教授4大关键设计模式:
1. 反思(Reflection)——智能体自我审视输出,持续改进;
2. 工具调用(Tool use)——结合大语言模型(LLM)调用搜索、日历、邮件、编程等功能;
3. 规划(Planning)——用LLM拆解任务,合理分配子任务执行;
4. 多智能体协作(Multi-agent collaboration)——构建多个专职智能体协同完成复杂任务。
课程还教你如何将复杂应用拆解成任务序列,系统应用这些模式。
最重要的是,Andrew Ng强调严谨的评估和错误分析流程是成功执行的关键。课程传授如何基于数据精准定位改进点,避免盲目试错,极大提升开发效率和质量。
课程采用纯Python实现,框架中立,帮助你深入理解底层原理,适合熟悉Python且了解LLM基础的学员,无论未来用哪个框架都能轻松上手。
未来,掌握Agentic AI设计模式,将让你在AI浪潮中抢占先机,打造真正能自主解决复杂问题的智能系统。
AI智能体开发正成为职场最抢手技能。这门课程系统教授4大关键设计模式:
1. 反思(Reflection)——智能体自我审视输出,持续改进;
2. 工具调用(Tool use)——结合大语言模型(LLM)调用搜索、日历、邮件、编程等功能;
3. 规划(Planning)——用LLM拆解任务,合理分配子任务执行;
4. 多智能体协作(Multi-agent collaboration)——构建多个专职智能体协同完成复杂任务。
课程还教你如何将复杂应用拆解成任务序列,系统应用这些模式。
最重要的是,Andrew Ng强调严谨的评估和错误分析流程是成功执行的关键。课程传授如何基于数据精准定位改进点,避免盲目试错,极大提升开发效率和质量。
课程采用纯Python实现,框架中立,帮助你深入理解底层原理,适合熟悉Python且了解LLM基础的学员,无论未来用哪个框架都能轻松上手。
未来,掌握Agentic AI设计模式,将让你在AI浪潮中抢占先机,打造真正能自主解决复杂问题的智能系统。
大型语言模型(LLM)训练与推理的优化技术总结:
随着模型参数规模达到数十亿,传统训练和部署方法面临巨大挑战。本文凝练了业内主流且高效的优化思路,涵盖内存、计算和推理三大核心方向,适合对大模型优化感兴趣的技术人员和面试准备者参考。
一、显存优化
- Flash Attention:通过“切块计算+重算”降低注意力机制的内存复杂度,从全矩阵处理变为分块处理,仅保存归一化因子,显著减小内存占用。
- 多查询注意力(MQA/GQA):共享键值减少内存,分组查询权衡效率与质量。
- 激活检查点:保存部分激活,训练时重算其余,降低显存压力。
二、计算优化
- 序列打包:将多条训练序列拼接,消除padding,提升GPU利用率。
- 高效Transformer:借助BigBird、Longformer等局部+全局注意力,实现长序列线性复杂度。
- 低秩近似与层级扩张注意力:进一步降低计算量,支持更大规模输入。
三、推理优化
- KV缓存:缓存历史键值,避免重复计算,提升生成速度和内存效率。
- 状态缓存:用滚动哈希和LRU算法管理对话历史,支持缓存复用。
- 推测解码:先用小模型快速生成候选,再用大模型验证,推理速度提升2-3倍。
- 量化技术:8位、混合精度和量化感知训练,在保证精度前提下极大压缩模型大小。
四、训练优化
- 混合精度训练:bfloat16结合动态loss scaling,兼顾速度和数值稳定。
- 数据并行与ZeRO优化:通过分割参数、梯度和优化器状态,实现显存极限压缩。
- 流水线并行:GPipe、PipeDream等减少GPU空闲,支持多阶段并行执行。
- 张量并行:列切分和行切分矩阵乘法,实现大模型跨设备高效计算。
- 上下文并行:序列长度分割多GPU,结合先进通信协议保证效率。
- 专家并行(MoE):引入专家子网,路由不同token至不同专家,显著扩展模型容量,同时需解决负载均衡。
优化大模型是一项系统工程,需多维度平衡内存、计算和通信开销。本文汇总的核心技术涵盖了当前业界最前沿的思路,有助于理解和掌握大模型训练与推理的关键瓶颈及解决方案。未来,随着模型规模持续增长,这些优化策略将愈发重要。
Jason Zhou 分享了如何通过“上下文工程”(Context Engineering)和完善的文档系统,让 Claude Code 在复杂代码库中的表现提升10倍,干货满满,值得深度学习:
1. 上下文工程是关键
Claude Code 默认接收系统提示(System prompt)、系统工具、MCP工具、CLAUDE.md文档和消息。使用
2. 子代理(Sub-agent)管理上下文
子代理适合只读任务(如调研),能将大量信息浓缩成关键摘要,帮助主代理聚焦核心内容,避免上下文爆炸。
3. 高效的文档系统至关重要
Jason推荐建立
- System:项目结构、技术栈、数据库模式、关键模块
- SOP:常见错误及最佳实践流程
- Tasks:产品需求文档(PRD)
- README:文档总目录,支持管理大型代码库
这个结构借鉴了 Manus 的本地缓存上下文卸载思路,能处理复杂项目。
4. 自动更新文档
设计
5. 实践案例:管理遗留代码库
@ODMtweets 分享了用类似方法管理基于 WordPress 的大规模遗留代码库。为每个类生成文档,并配合定制代理模式,显著提升了代理对旧代码的理解和操作效率。
上下文工程改变游戏规则:合理设计上下文不仅提升效率,还能让初级开发者产出接近资深水平。
- 文档驱动开发(DDD)落地:结合PRD和细化任务计划,让AI协助代码实现与评审,形成闭环。
- 防止提示漂移:保持文档即时更新和子代理分工,避免上下文信息丢失或偏离目标。
- 成本与收益权衡:更智能的上下文管理虽增加计算成本,但带来的开发效率提升远超投入。
1. 上下文工程是关键
Claude Code 默认接收系统提示(System prompt)、系统工具、MCP工具、CLAUDE.md文档和消息。使用
/context 指令可以查看上下文结构,合理设计上下文能极大提升代码智能生成质量。2. 子代理(Sub-agent)管理上下文
子代理适合只读任务(如调研),能将大量信息浓缩成关键摘要,帮助主代理聚焦核心内容,避免上下文爆炸。
3. 高效的文档系统至关重要
Jason推荐建立
.agent 文件夹,包含:- System:项目结构、技术栈、数据库模式、关键模块
- SOP:常见错误及最佳实践流程
- Tasks:产品需求文档(PRD)
- README:文档总目录,支持管理大型代码库
这个结构借鉴了 Manus 的本地缓存上下文卸载思路,能处理复杂项目。
4. 自动更新文档
设计
/update-doc 命令,代理每完成关键功能或修正错误后自动更新文档,保持知识库与代码同步,防止“上下文漂移”。5. 实践案例:管理遗留代码库
@ODMtweets 分享了用类似方法管理基于 WordPress 的大规模遗留代码库。为每个类生成文档,并配合定制代理模式,显著提升了代理对旧代码的理解和操作效率。
上下文工程改变游戏规则:合理设计上下文不仅提升效率,还能让初级开发者产出接近资深水平。
- 文档驱动开发(DDD)落地:结合PRD和细化任务计划,让AI协助代码实现与评审,形成闭环。
- 防止提示漂移:保持文档即时更新和子代理分工,避免上下文信息丢失或偏离目标。
- 成本与收益权衡:更智能的上下文管理虽增加计算成本,但带来的开发效率提升远超投入。