LlamaFarm 是一个开源框架，专注于构建基于检索增强（RAG）和智能代理的AI应用。它内置了默认方案（本地模型 Ollama、向量存储 Chroma），但架构完全可扩展，支持随时替换运行时、数据库和解析器，无需重写代码。| #框架

主要特点：
- 本地优先体验，一条命令行工具（lf）管理项目、数据集和对话
- 生产级架构，支持配置驱动、模式校验的项目管理
- 灵活定制的RAG流水线，YAML配置即可轻松调整
- 集成多种AI运行时，支持本地模型和云端API无缝切换
- 丰富的CLI命令，实现项目初始化、数据上传、处理及聊天
- 提供OpenAI格式兼容的REST API，方便集成到各种应用

支持 macOS、Linux 和 Windows，安装便捷，助力开发者快速搭建强大AI系统。

一步步掌握大语言模型（LLM）工程实战：

Ahmad Osman 分享了一系列项目，每个项目专注一个核心概念，真实动手体验，深刻理解背后原理——从分词(词元化)到采样策略，从注意力机制到长上下文处理，再到微调、量化和推理优化，内容全面且系统。

主要项目亮点：
- Tokenization & Embeddings：自己动手做字节对编码（BPE），训练子词词汇，制作token可视化工具，比较one-hot和学习型embedding的差异。
- 位置编码：演示经典正弦函数编码、学习型、RoPE、ALiBi四种方式，动画展示位置编码的本质。
- 自注意力与多头注意力：从单token点积注意力写起，扩展到多头，验证因果遮罩效果。
- Transformer堆叠与QKV拆解：搭建单层和多层Transformer，拆解Q、K、V矩阵，实验不同组合的影响。
- 采样参数调优：交互式调整温度、top-k、top-p采样，观察输出多样性与熵的变化，揭示温度为0带来的重复现象。
- KV缓存加速推理：实现缓存机制，量化速度提升，制作缓存命中可视化，分析内存占用。
- 长上下文技巧：滑动窗口注意力、内存高效重计算，测量困惑度随上下文长度变化，找到“上下文崩溃”点。
- 专家混合（MoE）：实现两专家路由层，动态路由tokens，统计专家利用率，模拟稀疏与密集计算节省FLOPs。
- Grouped Query Attention：改写多头注意力为分组查询结构，测评速度与延迟。
- 归一化与激活函数：手写LayerNorm、RMSNorm、SwiGLU、GELU，消融实验观察对训练/测试损失影响。
- 预训练目标对比：玩转掩码语言模型、因果语言模型、prefix语言模型，绘制损失曲线，比较学习速度与生成样本特性。
- 微调、指令调优与RLHF：小数据集微调；任务前缀指令调优；用PPO训练奖励模型，绘制奖励提升。
- 规模定律与模型容量：训练不同大小模型，绘制损失与模型规模关系，评估训练效率，推估极端小模型表现。
- 量化实操：实现PTQ和QAT，导出GGUF/AWQ格式，评估精度下降。
- 推理与训练框架迁移：HuggingFace模型移植到Deepspeed、vLLM、ExLlama，横向性能对比。
- 合成数据实验：生成玩具数据，加入噪声、去重，制作评估集，比较真实数据与合成数据的学习曲线。