Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  3. MathGPT：用 Llama 2 打造个性化教育平台

    韩国教育公司Mathpresso利用开源模型Llama 2打造了数学学习平台QANDA和数学专用语言模型MathGPT。

    商业语言模型如ChatGPT缺乏针对复杂教育背景的个性化。Llama 2灵活开源，Mathpresso可以充分利用自己的数据和技术。MathGPT不仅给出答案，还提供步骤详细的解释，帮助学生深入理解。它在国小和国中数学测试中刷新了世界纪录。

    韩国AI创业公司Upstage也使用了Llama 2。它的模型在开源语言模型排行榜上首次超过了GPT-3.5。Upstage认为Llama 2作为顶尖开源语言模型，为他们提供了充分的基础去开发定制化模型。

    Mathpresso希望通过AI导师，实现个性化教育向所有人开放。Llama 2这样的开源模型给了他们灵活性去创造可负担的教育工具。Llama 2等开源模型为公司大大小小提供了使用尖端技术的公平机会。它们正在开创性地影响教育等领域。

  5. SiLLM - Silicon LLM Training & Inference Toolkit：基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程

  7. Memento：记录计算机所有动作并允许用户返回时间、搜索和通过 LLM（大语言模型）与时间线聊天以查找收集到信息的 Python 应用

  10. Speechless LLM based Agents：基于LLM 的Agent，具有主动交互、长期记忆、外部工具集成和本地部署能力，旨在建立一个智能协作伙伴，该伙伴可以独立交互、持续发展，并与各种业务场景密切对齐，为企业提供实际价值

  12. torchtune：用 PyTorch 轻松微调大语言模型

    PyTorch发布了torchtune库的alpha版本，用于轻松微调大型语言模型。该库遵循PyTorch的设计原则，提供了组件化和模块化的构建块，以及易于扩展的微调示例，以在各种消费级和专业GPU上微调流行的大型语言模型。

    torchtune支持从头到尾的完整微调工作流程，包括数据集和模型检查点的下载和准备、可组合的构建块进行训练自定义、训练过程的日志和指标记录、模型量化、在知名基准上的模型评估以及本地推理。

    torchtune致力于易扩展性、让微调大众化、与开源生态系统的互操作性。未来几周将持续为库增加更多模型、特征和微调技术。

    torchtune与Hugging Face Hub、PyTorch FSDP、Weights & Biases、EleutherAI的评估工具、ExecuTorch和torchao等开源生态系统的组件深度集成，为用户提供灵活性和控制力。