Karpathy 最新项目震撼发布!不到 8000 行代码,完整实现了从训练到推理的 LLM 全流程,堪称开源界的宝藏 | nanochat

- 用 Rust 实现了高效的 tokenizer 训练
- 在 FineWeb 语料上预训练 Transformer LLM,并多维度评估核心指标
- 中期训练结合用户-助手对话、选择题、工具调用等多样任务
- 监督微调(SFT)后,模型在多项世界知识(ARC-E/C、MMLU)、数学(GSM8K)、代码(HumanEval)测试中表现优异
- 可选用“GRPO”算法进行强化学习(RL),提升数学题解答能力
- 轻量化推理引擎支持 KV 缓存、简单预填充/解码,集成 Python 沙箱工具,同时提供 CLI 和类 ChatGPT 网页 UI
- 生成统一的 Markdown 报告,方便总结、打分和游戏化体验

模型架构细节同样亮眼:
类似 LLaMA 的稠密 Transformer,采用 rotary 位置编码、QK 归一化、未绑定的嵌入/反嵌入层、ReLU² MLP,无偏置线性层,简洁高效;优化器结合 Muon 与 AdamW,推理中还用了 logit softcap 技巧。

如果你对从零开始训练、调优和部署大语言模型感兴趣,这个项目绝对值得深入研究。

Karpathy 用极简代码展现了训练大模型的全貌,突破了传统复杂框架的壁垒。Rust 的引入体现了追求高性能和安全的趋势,未来 LLM 生态或许会迎来更多类似轻量级、模块化的创新。

此外,项目中对多任务训练和强化学习的结合,展示了 LLM 在实用场景中持续迭代的可能路径。对开发者和研究者来说,这样的开源工具极大降低了门槛,有望催生更多定制化智能应用。
Naveen Naidu彻底从Claude Code转向了Codex,分享日常工作流程和心得:

早晨(Codex Web)
- 用Linear规划一天任务
- 把用户反馈拆分成小任务
- 同时启动3-4个“细节修复”任务,放一边等待处理

深度工作(Codex CLI)
- 专注于一个大任务
- 通过命令行界面动手编码

晚上复盘
- Web端任务:创建PR,自动审查,测试后推送上线
- CLI任务:本地复查、测试、PR,合并到主分支

Web端负责快速处理琐碎小任务,操作便捷,效率高
CLI则加速完成关键复杂任务,专注深度编码

相比Claude Code,他更喜欢Codex的简洁直接和高效体验,尤其是GPT-5-codex-high模型带来的精准反馈。实测发现,使用Web和CLI两端结合,工作效率与质量大幅提升。

同时,后端(FastAPI)有单元测试,macOS客户端(SwiftUI)目前靠本地测试,保证代码稳定。通过Linear的任务管理配合Codex,手头琐碎工作实现了“无缝交接”,极大节省了时间。

这套组合适合追求高效和专注的开发者,也值得尝试。不同工具各有优势,关键是找到最适合自己工作节奏的搭配。
PyCaret 是一个开源的 Python 低代码机器学习库,旨在简化和自动化模型的构建、训练与部署流程。它支持分类、回归、聚类和时间序列预测等多种任务,是传统机器学习项目的高效利器。

特点:
✔️ 使用简单:几行代码即可完成数据预处理、模型比较和超参数调优。
✔️ 功能全面:集成特征选择、转换、异常值检测,以及集成学习和堆叠等高级技术。
✔️ 无缝集成:支持 Jupyter Notebook、Excel 和主流 BI 工具,适配多样化工作流。
✔️ 时间高效:自动化大幅缩短实验和部署时间,适合快速原型开发。
✔️ 社区活跃:文档丰富、社区支持强,便于解决问题和学习最佳实践。

需注意的是,PyCaret 的高层抽象虽提升了便捷性,但可能限制复杂定制。高级用户在面对前沿问题时,或许更倾向于 Scikit-learn 进行细粒度调优,或使用 TensorFlow、PyTorch 进行深度学习。此外,PyCaret 对自定义评分指标和复杂流水线支持有限,自动化也要求用户理解底层流程,确保结果科学可靠。

PyCaret 的魅力在于降低了机器学习的入门门槛,极大提升了数据科学家的效率,尤其适合快速验证和迭代模型思路。但在追求极致性能或复杂定制时,仍需结合底层库灵活使用。未来,随着大模型和自动化工具的兴起,PyCaret 仍有机会通过持续更新和扩展接口,保持其在机器学习生态中的重要地位。
Claude Code系统提示五层架构详解

Daniel San对Anthropic开源的Claude Code系统提示(system prompt)进行了系统性剖析,提出了一个结构清晰、层级分明的五层架构模型,帮助开发者深入理解Claude Code如何在项目与AI模型之间高效、严谨地处理信息,实现智能编码辅助。以下是该架构的详细解读及其深度分析:见评

Daniel San的五层架构模型为理解Claude Code提供了清晰的系统视角,尤其强调了项目记忆(CLAUDE.md)与核心行为层的关键作用。掌握此架构,不仅有助于开发者更高效地利用Claude Code,还能启发设计更具透明度、可控性和扩展性的智能编码系统。
开源大模型学习门槛高?《开源大模型食用指南》帮你一步到位。| #指南

这个项目专为中国宝宝量身打造,基于Linux环境,涵盖从环境配置、本地部署,到全参数和LoRA微调,再到多模态大模型应用的全流程教程。支持ChatGLM、Qwen、InternLM、LLaMA等主流模型,让普通学生和研究者轻松上手开源大模型。

主要特色:

- 详细的Linux环境搭建指导,针对不同模型定制;
- 国内外热门开源LLM的部署与使用教程;
- 命令行调用、在线Demo、LangChain集成全覆盖;
- 支持全量微调与高效LoRA微调,适合进阶学习;
- 丰富案例,助你打造专属私域大模型。

无论你是大模型新手还是想深入微调的开发者,这里都是最实用的指南。
HOW TO WRITE YOUR Phd THESIS: THE EASY HANDBOOK | #论文

写博士论文是一项艰巨但关键的学术挑战。如何高效完成、避免常见误区?这份实用手册详细拆解6大阶段,助你系统推进论文写作与答辩:

1️⃣ 明确研究问题
- 研究问题要清晰、聚焦、简洁、复杂且具争议性。
- 确保有足够数据支持,否则及时调整问题。

2️⃣ 写作前准备
- 广泛阅读相关资料(学术、媒体、报告等),做好信息分类管理。
- 制定灵活的写作计划和论文结构大纲,涵盖标题页、摘要、目录、文献综述、实证研究、结论等核心部分。

3️⃣ 开始写作
- 避免抄袭,合理引用,使用文献管理工具跟踪参考文献。
- 写作顺序可灵活调整,先易后难。

4️⃣ 循序渐进完成论文:11步详解
- 包括封面、摘要关键词、致谢、目录、引言(含背景、研究缺口、问题、目标、假设、方法)、文献综述、实证方法与结果、讨论结论、附录和参考文献。
- 强调引言要有吸引力的开头,文献综述需紧扣主题且有条理。

5️⃣ 提交前细致检查
- 确认研究问题和假设得到回答和验证。
- 格式符合要求(字体、页边距、分页、行距等)。
- 各章节篇幅均衡,反复核对文献引用,查重控制在20%以下。
- 保证每章有引言和总结,文献综述聚焦核心主题。
- 与导师和专家充分讨论和修正。

6️⃣ 提交后准备答辩
- 准备内容涵盖研究问题、文献综述、方法、样本、结果、贡献、局限及未来研究。
- 控制幻灯片不超过12页,图表清晰,文字简洁。
- 多次演练,注意发音和时间控制。

此外,手册还详述定量与定性研究方法,包括数据采集、分析技巧及具体步骤,帮助你科学设计研究,确保结论可靠。
Just Talk To It - the no-bs Way of Agentic Engineering:简明无废话的Agentic Engineering实战经验分享 | #经验

基于Agentic Engineering的开发流程已到能自动写几乎100%代码的地步。但很多人还在绕圈子,忙着制造复杂“假象”,反而没真正产出。

这里分享了作者这一年AI辅助开发的心得,直击核心,帮你少走弯路
Nanonets-OCR2:颠覆传统OCR,智能将文档转为结构化Markdown

Nanonets推出的OCR2系列,是业内领先的图像转Markdown模型,不仅提取文本,更实现智能内容识别与语义标注,极大提升LLM后续处理效率。

核心亮点:
- LaTeX公式识别:自动区分行内与块状公式,精准转换为LaTeX格式。
- 智能图片描述:为无标题图片生成结构化描述,支持logo、图表、流程图等多种类型。
- 签名与水印提取:准确识别文档中的签名和水印,分别用专属标签隔离,方便法律与商务文件处理。
- 智能表单控件处理:将复选框和单选按钮标准化为Unicode符号(☐、☑️、☒),统一解析。
- 复杂表格与图表提取:支持复杂表格转Markdown和HTML,流程图和组织架构图转Mermaid代码。
- 多语言与手写文档:覆盖英语、中文、法语、西班牙语、日语等多语种,且对手写文档同样友好。
- 视觉问答(VQA):能直接回答文档内问题,若无答案则回复“不提及”。

实用建议:
- 提升图片分辨率能显著提高准确率。
- 金融等复杂表格文档推荐使用专门优化的“Markdown (Financial Docs)”模式。
- 通过API、transformers库或vLLM均可灵活调用。
金融研究往往需要处理大量复杂数据,查阅多份报表,还得实时跟踪市场动态,过程繁琐且极易出错。

Dexter 是一个自主智能金融研究代理,能自动拆解复杂问题,制定研究计划,使用实时财务数据反复验证和优化结果,直到给出准确、数据支持的分析报告。

它不仅是个简单的问答机器人,而是会思考、规划、执行和自我校验的智能助手。

主要功能:

- 智能任务规划,将复杂金融问题拆解为有序步骤;
- 自动执行多种金融数据抓取与分析工具;
- 自我验证分析结果,确保信息准确可靠;
- 实时访问收入表、资产负债表、现金流等关键财务数据;
- 内置安全机制,防止无限循环和执行超时。

适合金融分析师、投资研究员及量化团队,帮助提升研究效率和决策质量。
Cutter 是一款由 rizin 提供驱动的免费开源逆向工程平台,专为逆向工程师设计,兼顾强大功能与良好用户体验。

它支持 Windows、macOS、Linux 多平台,集成调试器、反汇编、插件扩展等丰富功能,轻松分析二进制文件。无论是安全研究、漏洞分析还是软件调试,Cutter 都能助你一臂之力。

主要特点:
- 高度可定制的 GUI,方便操作和扩展
- 支持 Python 和 C++ 插件,功能无限延展
- 集成强大的调试器和反汇编引擎
- 丰富的社区插件,如 Ghidra 反编译集成等
- 多种安装方式,支持包管理器、AppImage、Docker 等
Beej's Guide to Interprocess Communication》| #指南

这是一份Linux/Unix环境下进程间通信(IPC)的权威指南,涵盖从基础到进阶的多种技术,适合系统编程初学者与进阶者。

核心内容包括:

1. fork()详解:理解进程复制机制,助你掌控进程创建与管理。
2. 信号(Signals):教你捕获和处理信号,提升程序响应能力与稳定性。
3. 管道(Pipes)与FIFO:实现进程间数据流动,支持单向和命名管道通信。
4. 文件锁(File Locking):避免资源争用,确保数据一致性。
5. 消息队列(Message Queues):异步消息传递,提高进程间通信效率。
6. 信号量(Semaphores):同步多进程访问共享资源,防止竞态条件。
7. 共享内存(Shared Memory):高速共享数据,适合大规模数据交换。
8. 内存映射文件(Memory Mapped Files):文件与内存高效映射,方便持久化数据处理。
9. Unix套接字(Unix Sockets):支持全双工通信,灵活构建本地客户端-服务器架构。

每个章节配有示例代码,细致讲解API调用和使用场景,帮助开发者深入理解操作系统底层IPC机制。

思考与启示:
掌握IPC不仅是写出多进程程序的基础,更是构建高性能、健壮系统的关键。Beej指南条理清晰,语言幽默,实用性强,建议系统编程爱好者必读,助力你掌握进程协作的核心技术,写出更高效、更可靠的应用。
MentraOS 是一个开源项目,专为各种智能眼镜打造,集成了字幕显示、AI 助手、通知推送、实时翻译等实用功能。开发者只需写一套应用,就能在所有支持的智能眼镜上运行,极大简化了跨设备开发难题。

MentraOS 支持 Even Realities G1、Mentra Mach 1、Mentra Live 等多款智能眼镜,并且提供丰富的 SDK 和开发工具,助力快速构建高效应用,真正实现“写一次,跑全场”。

主要亮点:

- 跨设备兼容,应用一次开发即可多平台运行
- 内置实时字幕、智能助理、日历、翻译等多款实用应用
- 开放源码,MIT 协议,社区驱动,欢迎贡献代码
- 支持显示、麦克风、摄像头、扬声器等智能眼镜硬件接口
- 专属应用商店,方便用户发现和安装新应用
一份极具价值的AI工程全套免费开源学习资源——AI Engineering Academy,内容涵盖从Prompt工程、RAG(结合检索的生成)、大语言模型(LLMs)微调,到部署和智能代理(Agents),适合想系统入门和实操的开发者和AI爱好者。

主要内容亮点:

1. Prompt Engineering(提示工程)
- 基础到高级提示设计
- OpenAI API解析和函数调用实战

2. RAG(Retrieval-Augmented Generation,检索增强生成)
- 核心概念:嵌入、相似度理解
- 多种RAG技术实现:从零搭建,到混合RAG(稠密+稀疏向量结合)、图RAG、多模态RAG等
- 数据预处理:文本切块、嵌入生成、数据注入
- 评估与监控工具(RAGAS、DeepEval、TruLens、Arize Phoenix)
- 前沿创新方案(HyDE、RAPTOR、Cache Augmented Generation等)

3. LLMs(大语言模型)
- 模型架构与参数详解
- 微调技巧:预训练、SFT、PPO、DPO、ORPO等先进算法
- 主流模型实操:Gemma、Llama 2/3、Mistral及视觉语言模型
- Serverless云端微调,支持本地写代码即刻GPU训练

4. 部署与量化
- LLM落地生产实践
- 量化技术(AWQ、GGUF)帮助模型轻量化

5. 智能代理(Agents)
- 代理核心模式:反思、工具、规划、多代理
- MCP协议入门及自建服务器

🌟 整个课程可以一天完成,既有理论深度,也有丰富动手教程,适合快速构建AI项目基础。相比市面上动辄收费的课程,这套开源资源真是良心且高效。

在AI学习日益热门的当下,掌握RAG等前沿技术尤为重要,但内存与计算资源是现实瓶颈,DiskANN等新型索引技术的引入值得关注和贡献。微调技术的多样化趋势,也提示我们要灵活选择方案,结合自身需求与资源,实现最佳效果。
Back to Top