黑洞资源笔记
- 图灵课堂–2024版Go编程挺进大厂实战营
- 预定优惠:云原生DevOps进阶实战营
-
- 更新：7模块大运维平台开发-go-vue-k8s-cicd-服务树-监控
- MathGPT：用 Llama 2 打造个性化教育平台
韩国教育公司Mathpresso利用开源模型Llama 2打造了数学学习平台QANDA和数学专用语言模型MathGPT。
商业语言模型如ChatGPT缺乏针对复杂教育背景的个性化。Llama 2灵活开源，Mathpresso可以充分利用自己的数据和技术。MathGPT不仅给出答案，还提供步骤详细的解释，帮助学生深入理解。它在国小和国中数学测试中刷新了世界纪录。
韩国AI创业公司Upstage也使用了Llama 2。它的模型在开源语言模型排行榜上首次超过了GPT-3.5。Upstage认为Llama 2作为顶尖开源语言模型，为他们提供了充分的基础去开发定制化模型。
Mathpresso希望通过AI导师，实现个性化教育向所有人开放。Llama 2这样的开源模型给了他们灵活性去创造可负担的教育工具。Llama 2等开源模型为公司大大小小提供了使用尖端技术的公平机会。它们正在开创性地影响教育等领域。 - llm-transparency-tool：开源交互式工具包，用于分析基于 Transformer 的语言模型的内部工作原理
- SiLLM - Silicon LLM Training & Inference Toolkit：基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程
-
- Memento：记录计算机所有动作并允许用户返回时间、搜索和通过 LLM（大语言模型）与时间线聊天以查找收集到信息的 Python 应用
- Decompyle++：用 C++ 编写的 Python 字节码反编译器和反汇编器
- OpenChatML Specification：用于表示对话数据的结构化格式，为对话系统、聊天机器人、对话数据集等场景提供了一种标准化的表示方式
- Speechless LLM based Agents：基于LLM 的Agent，具有主动交互、长期记忆、外部工具集成和本地部署能力，旨在建立一个智能协作伙伴，该伙伴可以独立交互、持续发展，并与各种业务场景密切对齐，为企业提供实际价值
-
- torchtune：用 PyTorch 轻松微调大语言模型
PyTorch发布了torchtune库的alpha版本，用于轻松微调大型语言模型。该库遵循PyTorch的设计原则，提供了组件化和模块化的构建块，以及易于扩展的微调示例，以在各种消费级和专业GPU上微调流行的大型语言模型。
torchtune支持从头到尾的完整微调工作流程，包括数据集和模型检查点的下载和准备、可组合的构建块进行训练自定义、训练过程的日志和指标记录、模型量化、在知名基准上的模型评估以及本地推理。
torchtune致力于易扩展性、让微调大众化、与开源生态系统的互操作性。未来几周将持续为库增加更多模型、特征和微调技术。
torchtune与Hugging Face Hub、PyTorch FSDP、Weights & Biases、EleutherAI的评估工具、ExecuTorch和torchao等开源生态系统的组件深度集成，为用户提供灵活性和控制力。
