Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  2. 新手LLM训练详细指南 | #指南
    - Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。
    - 微调需要收集任务特定的数据集，一般大小在几十MB到几GB。
    - 数据预处理非常重要，需要将数据清理成合适的格式，如JSONL。
    - 主要的训练超参数包括batch size、epoch数、学习率、梯度累积步数等。
    - LoRA是一种减少GPU内存占用的微调方法，QLoRA则通过量化进一步降低了内存需求。
    - 学习曲线可以诊断模型的训练情况，判断是否欠拟合、过拟合或拟合良好。
    - 模型量化可以降低模型大小，使大模型也能在低显存环境下使用。
    - 模型适配器方法可以进行个性化微调而不加载整个模型。
    - 模型融合可以组合多个模型的优势得到更优的单模型。
    - 合理配置训练超参数以及诊断学习曲线对获得期望的模型至关重要。

  4. 用Rust编写的简约跨平台图片查看器，具有硬件加速和广泛的图片格式支持，旨在快速打开和加载图片，提供基本的编辑工具，并支持像素选择、位置和颜色值显示等功能，Oculante还支持图片序列的快速播放和像素信息的检查。

    Oculante | #工具

  5. 《写作这回事：创作生涯回忆录》豆瓣8.9分，是美国著名小说家斯蒂芬·金的一部非虚构作品，它既是金的个人回忆录，也是他的写作课程。这本书完整地体现了斯蒂芬·金的创作观点和方法，他的写作建议基于自己真实的写作和生活经历。

    斯蒂芬·金是当今世界读者最多，声名最大的美国小说家之一，他的作品包括恐怖小说、科幻小说、奇幻小说等多种类型，但他的作品又远远超出了类型小说的范畴，他的作品深入内心、逼问人性、展现灵魂，他是位不折不扣的文学大师。

    在《写作这回事：创作生涯回忆录》中，斯蒂芬·金分享了他的童年经历，初为作家的岁月，成名后与酒精的斗争，以及1999年险些命丧车祸的经历。他坦言，写作对他来说好比是一种信念坚持的行动，是面对绝望的挑衅反抗。

    这本书的行文生动、幽默，还带着点自嘲，献给粉丝、作家和热爱好故事的人，将给所有读过的人带来乐趣和力量。

  6. Awesome AI Papers：该存储库是按发布日期组织的重要人工智能论文的最新列表。涵盖计算机视觉、自然语言处理、音频处理、多模态学习和强化学习五个领域。

  8. 来自香港大学、阿里巴巴和蚂蚁集团的新成果 Anydoor 为图片编辑打开了一扇「任意门」。任何物品，只需要一张照片，就能被传送到另一张图片的世界中。

    论文 | 项目 | 原文

  9. 苹果取得技术突破：有望在 iPhone 上运行大型语言模型

    IT之家消息：苹果的人工智能研究人员表示，他们已取得一项重大突破，通过一种创新的闪存利用技术，成功地在内存有限的苹果设备上部署了大型语言模型（LLM）。这一成果有望让更强大的 Siri、实时语言翻译以及融入摄影和增强现实的尖端 AI 功能登陆未来 iPhone。| 详文

  10. 美国加州语文教材Wonders：以英语为母语孩子的语文教材，又是经典的EFL教材，它不单单让孩子学习英语的听说读写，更是批判性思维、动手能力、合作能力、表达能力、社会能力等等的综合培养最佳教材。

    它是全球第一套根据美国45个洲统一的教育大纲（CCSS）编写的核心教材，美国主流小学使用的教材都是它。国内一般称其为“加州语文”。

    整套书包括从GK到G6共7个级别，课程学习完后，能够达到美国教育部要求的中学阅读水平，对应国内可以达到高考英语水准。

    国内学生阅读Wonders的合适年龄：
    GK： 大班、小学一、二年级或零基础三年级
    G1： 有基础三年级到四年级
    G2： 有基础五年级到初一
    G3： 有基础初二到初三
    G4： 初三到高一、二
    G5： 有基础高一到高二
    G6： 高二到高三（相当于大学四六级之间）

  11. IT之家：ChatGPT 的语音功能现已面向所有免费用户开放。意味着无需支付任何费用，就能与 ChatGPT 进行自然的对话，体验犹如与真人交流一般的奇妙互动。

    在 Google Play 商店更新该应用时，在“事件和订单”部分中就能看到这个更新信息，显示：“现在你可以用声音与 ChatGPT 进行自然的互动，无论是旅途中闲聊、为家人朗读睡前故事，还是解决晚餐时的辩论，ChatGPT 都能满足你的需求。只需下载 ChatGPT 应用并点击耳机图标，即可开启对话之旅！”

    虽然目前苹果 App Store 尚未发布相关公告，但该功能也已在 iOS 版应用中悄然上线。

    如何开启语音功能呢？只需下载 ChatGPT 应用并点击耳机图标，然后选择你喜欢的语音（包括多种男女声和不同口音），就可以开始与 ChatGPT 畅聊了。