Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. OpenAI-Forward 是为大型语言模型实现的高效转发服务。其核心功能包括 用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等，旨在提供高效、便捷的模型转发服务。 无论是代理本地语言模型还是云端语言模型，如 LocalAI 或 OpenAI，都可以由 OpenAI Forward 轻松实现。 得益于 uvicorn, aiohttp, 和 asyncio 等库支持，OpenAI-Forward 实现了出色的异步性能。

    主要特性
    全能转发：可转发几乎所有类型的请求
    性能优先：出色的异步性能
    缓存AI预测：对AI预测进行缓存，加速服务访问并节省费用
    用户流量控制：自定义请求速率与Token速率
    实时响应日志：提升LLMs可观察性
    自定义秘钥：替代原始API密钥
    多目标路由：转发多个服务地址至同一服务下的不同路由
    黑白名单：可对指定IP进行黑白名单限制
    自动重试：确保服务的稳定性，请求失败时将自动重试
    快速部署：支持通过pip和docker在本地或云端进行快速部署

  3. Weasel：小巧易用的端到端工作流系统，支持不同用例和领域的工作流管理、共享、训练、打包和部署自定义管道。用户可以通过克隆预定义的项目模板开始，调整以适应需求，加载数据，训练管道，导出为Python包，上传输出到远程存储并与团队共享结果

  9. openkoda：快速开发企业级应用的集成开发环境，提供预构建功能和即用型特性，减少开发时间和工作量，支持动态实体和多租户模型，使用熟悉的技术栈如Java、Spring Boot、JavaScript等，提供无限自定义和集成选项

  10. AI Edge Torch：支持PyTorch模型的Google AI Edge TFLite运行时，使模型能在Android、iOS和IoT设备上完全本地运行，提供广泛的CPU支持、初始GPU和NPU支持