Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. fastlite：为sqlite提供额外的易用性工具，特别适合Jupyter环境的交互式使用，通过sqlite-utils库增强数据库操作的便捷性

  3. 高性能C++基础库，支持C++高性能服务端开发，提供大量基础组件，广泛应用于对性能有严苛要求的场景，如搜索推荐引擎、自动驾驶车载计算等

    Babylon | #c++

  4. CUDA加速数学和机器学习：从入门到精通，利用NVIDIA GPU进行数学和机器学习的加速计算，适用于希望扩展算法至GPU的研究人员和应用专家

    CUDA（统一计算设备架构）是 NVIDIA 开发的并行计算平台和编程模型。它允许软件开发人员利用 NVIDIA GPU（图形处理单元）巨大的并行处理能力来执行通用计算任务，而不仅仅是其传统的图形渲染角色。

    GPU 设计有数千个更小、更高效的核心，经过优化可同时处理多个任务。这使得它们非常适合可分解为许多独立操作的任务，例如科学模拟、机器学习、视频处理等。与传统的仅使用 CPU 的代码相比，CUDA 可显著提高合适应用程序的速度。

    GPU 可以并行处理大量数据，从而加速在 CPU 上需要更长时间的计算。对于某些类型的工作负载，GPU 比 CPU 更节能，可提供更高的每瓦性能。

  10. 哈尔滨工业大学计算学部金牌讲师团课程资料共享 | link

    此仓库主要包括金牌讲师团在同学们学习过程中的学业支持活动记录，主要包括开箱手册、期末复习讲座及复习手册等资料

  13. AI Device Template-AI设备模板：集成Whisper语音识别、TTS文本转语音、Groq、Llama3、OpenAI等技术，打造智能语音助手，支持语音输入、文本转语音输出、图像处理、功能调用和条件渲染UI组件

  15. OpenAI-Forward 是为大型语言模型实现的高效转发服务。其核心功能包括 用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等，旨在提供高效、便捷的模型转发服务。 无论是代理本地语言模型还是云端语言模型，如 LocalAI 或 OpenAI，都可以由 OpenAI Forward 轻松实现。 得益于 uvicorn, aiohttp, 和 asyncio 等库支持，OpenAI-Forward 实现了出色的异步性能。

    主要特性
    全能转发：可转发几乎所有类型的请求
    性能优先：出色的异步性能
    缓存AI预测：对AI预测进行缓存，加速服务访问并节省费用
    用户流量控制：自定义请求速率与Token速率
    实时响应日志：提升LLMs可观察性
    自定义秘钥：替代原始API密钥
    多目标路由：转发多个服务地址至同一服务下的不同路由
    黑白名单：可对指定IP进行黑白名单限制
    自动重试：确保服务的稳定性，请求失败时将自动重试
    快速部署：支持通过pip和docker在本地或云端进行快速部署