Skip to main content

黑洞资源笔记

  1. 哈尔滨工业大学计算学部金牌讲师团课程资料共享 | link

    此仓库主要包括金牌讲师团在同学们学习过程中的学业支持活动记录,主要包括开箱手册、期末复习讲座及复习手册等资料
  2. AI Device Template-AI设备模板:集成Whisper语音识别、TTS文本转语音、Groq、Llama3、OpenAI等技术,打造智能语音助手,支持语音输入、文本转语音输出、图像处理、功能调用和条件渲染UI组件
  3. OpenAI-Forward 是为大型语言模型实现的高效转发服务。其核心功能包括 用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等,旨在提供高效、便捷的模型转发服务。 无论是代理本地语言模型还是云端语言模型,如 LocalAI 或 OpenAI,都可以由 OpenAI Forward 轻松实现。 得益于 uvicorn, aiohttp, 和 asyncio 等库支持,OpenAI-Forward 实现了出色的异步性能。

    主要特性
    全能转发:可转发几乎所有类型的请求
    性能优先:出色的异步性能
    缓存AI预测:对AI预测进行缓存,加速服务访问并节省费用
    用户流量控制:自定义请求速率与Token速率
    实时响应日志:提升LLMs可观察性
    自定义秘钥:替代原始API密钥
    多目标路由:转发多个服务地址至同一服务下的不同路由
    黑白名单:可对指定IP进行黑白名单限制
    自动重试:确保服务的稳定性,请求失败时将自动重试
    快速部署:支持通过pip和docker在本地或云端进行快速部署
  4. Weasel:小巧易用的端到端工作流系统,支持不同用例和领域的工作流管理、共享、训练、打包和部署自定义管道。用户可以通过克隆预定义的项目模板开始,调整以适应需求,加载数据,训练管道,导出为Python包,上传输出到远程存储并与团队共享结果