1. 放弃notebooks依赖，拥抱代码仓库。Colab和Kaggle方便，但真正的项目价值在于结构清晰、易维护的git repo，养成使用专业编辑器和工程化脚本的习惯，才是通向工业级开发的必经之路。
2. GPU永远不能闲着。深度学习的加速根本在于大规模并行计算。就像撕散书页在桌面铺开，GPU能同时处理海量数据。利用Wandb等MLOps工具实时监控GPU使用率，避免资源浪费，是保证训练效率的关键。
3. 持续优化代码细节。比如作者通过替换Parquet Reader为Dataloader、用PyTorch内置的Scaled Dot Product Attention替代自定义实现，token处理速度提升近10倍。性能提升往往藏在内核融合和内存优化的细节里，别放过任何提升空间。
4. 时刻关注张量维度。深度学习中Tensor维度变化频繁，做好注释、标明形状，避免因转置、reshape导致的逻辑混乱，是代码可读性和debug效率提升的基础。
5. 深刻理解模型组件差异。GPT用LayerNorm，Llama改用RMSNorm。拆解每个子模块，理解其设计动机和作用，才能更好地把握整张架构图，代码实现也能更加准确高效。
6. 善于横向比较架构演进。新模型往往在旧模型基础上做局部创新，比如Mixture of Experts用多个小网络替代大网络结构。通过对比，抓住关键创新点，快速洞察论文核心，有助于精准实现和性能评估。
最后，初学时别怕依赖如Grok、GPT、Gemini等工具，失败是成长的必经阶段，坚持下来终能独立驾驭复杂模型。
Learnings after coding GPT & Llama from scratch :) | #经验
Gemini 3的核心变化：
- 自动规划多步工作流程，完全自主执行，无需任何指导
- 面向非技术用户，无需计算机专业背景
- 已在移动端上线，触手可及
与那些“AI机构”高价卖战略方案不同，谷歌直接将真正的自动化能力带给了比ChatGPT用户还多的人群。AI自动化的门槛瞬间降至：只需一部手机，4分钟设置。
现实是，很多企业还在固守“半年规划+技术团队+高额咨询费”的老思维，殊不知时代已经变了。真正的竞争力来自把AI当作本能，而非项目。
更深层的启示是：自动化变得轻松，不代表价值消失，而是价值上移。低阶重复的流程被机器取代，高阶的判断力、策略设计和运营模式将成为稀缺资产。
NotebookLM最新力作——Deep Research正式上线！这项功能能自动浏览数百个网站，帮你生成结构清晰的研究报告，并附带详细注释和来源列表，方便深入学习，且可直接保存到笔记本里，极大提升信息整理与复盘效率。
用户反馈热烈，称赞团队响应迅速、产品设计出色，真正实现了从“与PDF对话”到全方位智能研究助理的飞跃。大家期待更多个性化功能，比如语音高级模式、保存对话、搜索栏、思维导图和自动字幕等，让学习和工作更智能、更高效。
用户反馈热烈，称赞团队响应迅速、产品设计出色，真正实现了从“与PDF对话”到全方位智能研究助理的飞跃。大家期待更多个性化功能，比如语音高级模式、保存对话、搜索栏、思维导图和自动字幕等，让学习和工作更智能、更高效。
below 是一个开源的时间旅行资源监控工具，支持实时查看和录制历史系统数据，包括硬件资源利用率、cgroup层级和进程信息、压力停滞指标（PSI）等。 | #工具
它不仅支持实时模式监控系统状态，还能录制数据以便回放分析，方便排查历史性能问题。通过dump命令还能导出JSON、CSV、OpenMetrics格式数据，方便与Prometheus和Grafana等监控系统集成。
主要功能包括：
- 实时监控系统资源使用情况；
- 支持cgroup和进程信息展示；
- 压力停滞信息（PSI）监控；
- 录制和回放系统历史数据；
- 脚本友好的数据导出接口；
- 支持与Prometheus/Grafana集成。
支持Fedora、Alpine、Gentoo等多种Linux发行版，安装简单，且提供Docker镜像方便快速部署。适合系统管理员和运维工程师使用。
1. 苹果正式承认“超级应用”模式将成西方趋势。
过去中国有微信小程序，印度有PhonePe Switch，而西方市场缺少类似模式。苹果此次允许开发者在原生大应用内嵌入HTML/JS迷你应用，并对合格内购给予85%的分成支持，这意味着超级应用时代在西方迈出关键一步。
2. 分发“套利”再现。
无需再说服用户下载独立应用，开发者只需与主应用合作，嵌入迷你应用即可获得用户流量。这对初创者是“捷径”，比如旅行APP嵌套细分工具、健身APP内置迷你训练、市场类APP整合微型实用工具。
3. 苹果创造了新经济层级：“嵌入式SaaS”。
想象一下，CRM迷你应用嵌入垂直工具，数学解题器嵌入教育APP，日历功能内嵌于生产力工具……无需独立安装，工具即服务的市场正快速垂直扩张。
4. 85%收益分成激励开发者。
苹果主动降低分成率，显示其对该生态成长的重视。每当苹果降低抽成，都预示着平台战略的重大转变。
5. AI驱动下，迷你应用价值爆发。
大型语言模型（LLM）催生的小型应用如计算器、规划器、智能助理，天然适合迷你应用模式。苹果为AI原生微型工具铺设了商业化通路。
6. 主应用成为“分发房东”。
拥有用户流量的大应用即成平台，可以承载迷你应用，赚取分成，打造开发者生态，开辟新型变现模式。
7. 带来大量二阶机会。
包括帮助主应用搭建迷你应用平台的服务商、迷你应用开发工作室、迷你应用电商工具、性能分析与发现引擎等产业链新角色。
苹果正在将高流量应用变身超级应用，将独立开发者转变为生态合作伙伴。App Store未来将更加模块化、组合化，消费者应用将不再是孤立产品，而是由大量迷你应用互联共生的生态系统。这是近年来最重要的分发创新之一。
REFRAG创新地在embedding层面进行压缩和筛选：
- 每个文本块先压缩成单个embedding向量
- 通过强化学习策略对embedding进行相关性评分
- 只展开最相关的文本块送入LLM，其他保持压缩或被过滤
- 这样LLM只处理真正重要的信息，显著降低token数量
结果惊人：
- 首个token响应速度提升30倍以上
- 支持16倍更大的上下文窗口
- 处理token数量减少2到4倍
- 在16个RAG基准测试中超越LLaMA表现
工作流程简单高效：
1. 编码文档并存入向量数据库
2. 查询时检索相关embedding块
3. 强化学习策略筛选最优embedding
4. 展开选中块为完整token向量
5. 其余保持压缩状态
6. 所有信息一并输入LLM处理
这不仅极大提升了速度和规模，还保证了准确性零损失。REFRAG用“压缩-筛选-展开”的方法，优雅解决了RAG中“token膨胀”的隐藏成本。
这一突破彰显了向量空间和强化学习结合在大模型优化中的巨大潜力，也暗示未来检索系统将越来越依赖智能筛选策略，而非盲目堆积信息。它让我们思考：真正的效率，不是无尽扩容，而是精准提炼。
