黑洞资源笔记
-
-
-
- FinRobot:开源AI Agent平台,用于金融应用的大型语言模型,提供综合解决方案,集成多种AI技术,超越传统金融GPT应用
- LO:面向WebAssembly的极简编程语言,旨在尽可能简化语言和编译器,易于理解和使用
- AI Device Template-AI设备模板:集成Whisper语音识别、TTS文本转语音、Groq、Llama3、OpenAI等技术,打造智能语音助手,支持语音输入、文本转语音输出、图像处理、功能调用和条件渲染UI组件
- Narwhals:极轻量且可扩展的数据框架兼容层,支持Polars、pandas、cuDF、Modin等
- OpenAI-Forward 是为大型语言模型实现的高效转发服务。其核心功能包括 用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等,旨在提供高效、便捷的模型转发服务。 无论是代理本地语言模型还是云端语言模型,如 LocalAI 或 OpenAI,都可以由 OpenAI Forward 轻松实现。 得益于 uvicorn, aiohttp, 和 asyncio 等库支持,OpenAI-Forward 实现了出色的异步性能。
主要特性
全能转发:可转发几乎所有类型的请求
性能优先:出色的异步性能
缓存AI预测:对AI预测进行缓存,加速服务访问并节省费用
用户流量控制:自定义请求速率与Token速率
实时响应日志:提升LLMs可观察性
自定义秘钥:替代原始API密钥
多目标路由:转发多个服务地址至同一服务下的不同路由
黑白名单:可对指定IP进行黑白名单限制
自动重试:确保服务的稳定性,请求失败时将自动重试
快速部署:支持通过pip和docker在本地或云端进行快速部署 -
-
- RealTime QA:实时问答平台,定期评估实时基线系统如GPT-3和T5的性能,每周提出约30个问题
-