一篇非常神奇、非常暴力的论文:零错误解决百万步级大语言模型任务

我们知道现有的 LLM 虽然在写诗或回答独立问题上表现出色,但在执行需要连续数千甚至数百万个步骤的复杂任务时,它们几乎注定会失败,比如让大模型一步步的解“汉诺塔”。

为了解决这个问题,Cognizant AI Lab 的研究团队提出了一种名为 MAKER 的架构。他们没有等待更聪明的模型出现,而是通过改变工作流程,成功让现有的模型完成了一个包含超过 100万个步骤 的任务(解20层汉诺塔),且实现了 零错误 。

原理也不复杂,就是三个核心步骤:

1. 原子化拆解
这是整个系统的基础。研究者不让一个 AI 智能体去负责一长串的任务,而是将整个宏大的任务切碎,直到切分出逻辑上不可再分的最小单元。

2. 投票机制
为了解决模型偶尔“抽风”或随机出错的问题,系统引入了基于统计学的竞争机制。系统是让多个平行的智能体同时对同一个步骤进行计算。系统会不断抽取新的回答,直到出现一个答案的票数比第二名多出 K 票为止。这样就极大地稀释了随机错误的概率,确保被采纳的每一步几乎都是绝对正确的。

3. 插旗式熔断与过滤
这是一个识别并剔除“相关性错误”的防御机制。研究者发现,当模型开始出错时,往往会有一些预兆,比如回答变得异常冗长啰嗦,或者输出的格式不符合要求。
系统设定了一些规则,一旦智能体的输出表现出这些特征(即被插旗),系统根本不会去尝试修复或理解它,而是直接将这个样本丢弃,然后重新让模型生成。这种做法相当于在错误毒化整个流程之前就将其掐断,不仅提高了单步成功率,还防止了模型陷入错误的逻辑死循环。
机器学习工程师的智能助手:Karpathy,一个利用Claude Code SDK和Google ADK训练前沿机器学习模型的轻量级实现。它展示了Claude Scientific Skills在机器学习领域的强大能力,帮助开发者快速构建和运行智能代理。| #机器学习

主要特点包括:

- 依赖Python 3.13+,通过uv包管理器安装依赖;
- 支持环境变量配置API密钥,保证代理稳定运行;
- 启动脚本自动创建沙箱环境,集成PyTorch、transformers等主流ML库;
- Web界面交互,方便模型管理和操作;
- 支持自定义数据集和脚本手动导入沙箱;
- 集成Claude Scientific Skills,扩展多种科学计算和机器学习流程;
- 提供多代理系统,后续发布更强大功能。

适合喜欢探索最前沿代理式机器学习工程师工具的开发者和研究人员。项目开源托管于GitHub:
Heretic 是目前最先进的去审查(uncensor)大型语言模型(LLM)库。它采用树搜索(TPE)算法,精准寻找最佳参数,并以拒绝率和KL散度两大指标评估性能。这套工具不仅优雅简洁,还基于一年多的开源积累,代表了去审查技术的新高度。

实践中,针对中小模型,TPE的速度表现令人满意,体现了理论与工程的完美结合。社区反馈极佳,称其为“最精致的去审查工具包”,设计清晰、指标科学,真正具备实用价值。有人戏称这就是“提示语风水”,凸显其优化艺术感。

Heretic的出现,意味着我们开始拥有更智能、更可控的方式,突破传统模型限制,释放更富创造力的对话潜力。它不仅是技术创新,更是推动AI开放与自由表达的重要里程碑。
开源免费3D高斯点云编辑器SuperSplat震撼登场!无需下载安装,直接在浏览器中运行,极大降低了3D环境原型设计的门槛。 | #编辑器

这不仅让创作者可以随时随地快速实验和调整场景,也预示着浏览器游戏和实时3D内容开发的新纪元。想象工作室能即时在网页上完成环境搭建,开发流程将更灵活高效。

SuperSplat的出现,是技术与创意结合的典范,体现了未来数字内容制作向轻量化、开放化的趋势迈进。它让3D设计不再被复杂工具束缚,释放更多创新可能。

这款工具的潜力远超预期,值得每一个游戏开发者、设计师和数字艺术爱好者关注。未来的3D创作,将不再是高门槛的专业操作,而是人人可触达的创意乐园。
Awesome Spatial Intelligence in VLMs:多模态视觉语言模型(VLM)在空间智能领域的研究和应用正快速发展。这个开源项目汇总了最新的空间推理方法、数据集和评测基准,为研究者和工程师提供了全面的资源索引,助力提升模型的空间感知与推理能力。

涵盖内容包括:

- 最新空间推理方法与代码实现,支持3D感知、多视角理解等前沿技术;
- 丰富的空间智能数据集与基准测试,覆盖动态场景、多尺度空间等多样任务;
- 重要研究成果与应用案例,揭示多模态模型空间能力的挑战与进展。

适合从事视觉语言、机器人导航、3D理解等领域的研究人员和开发者参考使用。
Andrej Karpathy分享了他用大语言模型(LLM)辅助阅读各种文本(博客、文章、书籍章节等)的三步法: 第一遍人工阅读,第二遍让LLM解释和总结,第三遍通过问答深化理解。这样不仅提升了阅读效率,还能获得比单纯阅读更深刻的认知,成为他最重要的学习方式之一。| 帖子

他也指出,随着这种方式兴起,写作者的心态可能会改变——从“写给人看”转向“写给LLM看”。因为当LLM理解了内容,它能为不同读者定制和传递信息,实现更精准的沟通。

Karpathy还开源了一个名为reader3的工具,方便用户用LLM逐章阅读电子书(EPUB格式)。他强调目前还没有专门工具,自己通常就是复制粘贴到不同的LLM里轮换使用。

社区回应中,有人分享了类似经验:
- 用LLM辅助读书能大幅提升信息保留和理解深度,变被动阅读为主动思考。
- AI将教育从“一刀切”转变为个性化辅导,学生能随时通过对话拆解难题。
- 未来写作可能陷入“为AI优化”的循环,导致信息自我引用,创新受限。
- 有人开发工具让AI帮忙筛选和索引长文档,提升查阅效率。

也有人提醒,写作过度迎合AI可能让文字缺乏人性和灵魂。真正的学习和交流,依赖人类间的互动和思考,而非单纯AI的反馈。

此外,使用LLM读书的关键在于“提问的艺术”:
善问问题,AI才能激发更深入的洞见和持续的好奇心,创造自然流畅的对话,从而推动认知升级。
Google 的 Code Wiki 是一个由 Gemini AI 驱动的代码理解工具,于 2025 年 11 月 13 日以公共预览版发布。它提供自动化、智能化的 wiki 平台,用于代码仓库的文档维护和交互,帮助开发者快速理解代码库,支持与代码“聊天”查询,并生成持续更新的结构化文档。

目前完全免费,支持公共仓库,未来将扩展到私有仓库和Gemini CLI。

这不仅是DeepWiki的升级版,更为复杂项目提供了极佳支持,极大降低了代码学习和维护的门槛。开发者们对其表现出极大期待,称其可能彻底改变团队协作和代码管理方式。

类似工具还有DeepWiki、DeepGraph和GitDiagram,分别侧重代码库可视化和理解,形成了AI辅助代码理解的生态圈。

这场由AI驱动的代码理解革命,不仅节省了大量学习时间,也推动了软件开发效率的飞跃。未来,理解代码不再是负担,而是轻松的对话与探索。
Guided lab sessions:一套深度学习主题的引导式实验笔记本合集,涵盖从基础知识、PyTorch、JAX,到自动微分和模型可解释性,适合系统学习和动手实践。每个笔记本独立成篇,方便逐个攻克,适合初学者和进阶者。

这套资源不仅涵盖理论与算法实现,更注重“从零开始”的实操体验,帮助你真正理解深度学习的每个环节。学深学透,方能不被工具所奴役。
Linux内存管理核心解读

Linux内存管理掌控着操作系统如何高效利用RAM、交换空间及虚拟内存,保障每个进程获得所需资源,同时维持系统稳定和高性能。其基于虚拟内存机制,为每个进程提供独立且安全的地址空间。

虚拟内存使得即便物理内存有限,进程也能像拥有连续大内存一样运行。Linux通过页表将虚拟地址映射到物理内存,既保证进程隔离,也提升内存利用率,支持大型应用。

内存被划分为固定大小的“页”(通常4KB),进程运行时,内核按需将页加载至RAM。内存不足时,闲置页被移至交换空间(swap),实现多任务高效切换。

MMU(内存管理单元)负责虚拟地址到物理地址的硬件转换,TLB缓存加速这一过程,关键于整体访问速度和性能。

物理内存分配依赖Buddy系统(大块连续内存)和Slab分配器(内核对象),有效减少内存碎片,加快分配速度。

交换空间为内存溢出时的“缓冲区”,虽速度远不及RAM,但保证系统不卡死。常用命令包括`swapon -s`查看交换,`free -h`监控内存使用。

Linux按硬件需求划分内存区域(ZONE_DMA、ZONE_NORMAL、ZONE_HIGHMEM),确保针对不同架构的合理分配。

缓存机制利用空闲内存加速文件访问,包括页面缓存和缓冲区缓存,缓存会根据需求自动释放,确保内存灵活使用。

当内存和交换空间耗尽,Linux启动OOM Killer,终止占用内存最多的进程,保护系统不崩溃。

监控工具丰富:`free -h`, top, htop, vmstat, `/proc/meminfo`等,帮助用户实时掌握内存状态,定位问题。

/proc文件系统提供详细内存信息,调试内存泄漏和分析进程内存布局的重要利器。

NUMA架构下,Linux智能分配内存,优先使用靠近CPU的内存,优化多核服务器的性能表现。

Linux内存管理系统复杂而高效,虚拟内存、分页、缓存等机制协同工作,保障系统公平、隔离和稳定。深入理解这些工具与原理,不仅能提升系统调优能力,更能助力解决实际问题。
计算机科学的核心,涵盖从算法到存储的关键原则:帖子

- 哈希实现快速查找,排序支持高效搜索;
- 追加写入保障写入吞吐,内存存储带来极致速度;
- 概率性数据结构(如布隆过滤器)在空间与误判间取得平衡;
- B-tree优化磁盘访问,写前日志保证数据持久不牺牲性能;
- 缓存和索引让读写更迅速,压缩减少存储成本但需付出计算代价;
- 分片和复制实现横向扩展与高可用,列式存储加速分析型查询;
- LSM tree适合高写入,跳表简化锁机制,哈希一致性确保扩容时数据平衡;
- Trie树、高效前缀匹配,环形缓冲区维持边界内内存使用;
- 拷贝写入节省内存,默克尔树实现篡改检测和同步;
- 线段树、费恩维克树支持快速区间和前缀计算,并查集优化连通查询;
- 后缀数组和倒排索引提升字符串及全文检索效率,空间索引助力地理查询;
- 时间序列数据库专注时序数据的压缩存储,事件溯源保存完整审计链;
- CRDT实现无协调开销的最终一致性,无锁数据结构支持高并发;
- 分区提高性能,物化视图加速复杂查询,增量压缩节省存储空间;
- Heap、Rope和Radix tree带来优先队列、大文本操作和内存高效的前缀存储;
- 自适应数据结构根据访问模式自我优化,批处理提升吞吐率。

这些基础与设计模式,是构建任何复杂系统的基石。掌握它们,才能在数据密集和高并发的时代游刃有余。

深度理解,不止于记忆,更在于如何灵活运用。每一个数据结构和算法,都是对性能、资源和场景的权衡。成为高手,先从理解这些核心开始。
Back to Top