Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  3. tinyllm 是一个轻量级框架，用于大规模开发、调试和监控 LLM 和代理支持的应用程序。该库的主要目标是使代码尽可能简单和可读，同时允许用户在生产中创建复杂的代理或 LLM 工作流程。

    Function及其流式等价物FunctionStream是tinylm 中的核心类。它们旨在标准化和控制 LLM、ToolStore 以及流模式和其他方式下可扩展生产使用的任何相关调用。

    它提供了一种结构化方法来处理函数执行的各个方面，包括输入/​​输出验证、输出处理、错误处理、评估，同时保持代码可读。您可以在单个文件中创建一个具有自己的提示、LLM 模型和评估器的链。无需跳过许多类定义，也无需意大利面条式代码。任何其他库代理/链（langchain/llama-index...）也可以无缝导入为tinylm函数。

    tinyllm | #框架

  7. Rocketnotes：网页版 Markdown 笔记应用，具有大型语言模型(LLM)支持的文本补全、聊天和语义搜索功能

  12. RigelA - 用纯Rust编写的读屏(Screen Reader)项目，用于视力有障碍的人群操作电脑，软件会将屏幕上的各种信息转换成语音输出

  13. LLM-And-More：一站式大模型训练及应用构建的解决方案，其覆盖了从数据处理到模型评估、从训练到部署、从想法到服务等整个流程。在本项目中，用户可以轻松地通过本项目进行模型训练并一键生成所需的产品服务。

    本项目的优势主要体现在以下三点:

    总结了不同应用场景下的专业知识和最佳实践，以保证模型在实际生产中的表现优异。
    集成了高性能模型并行框架，有效地减少了训练和推理时的算力开销。
    用户可以基于自身需要定制化模型及服务，便捷且自由度高。