Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. Pathway是一个用于高吞吐量和低延迟实时数据处理的开放框架。它用于创建 Python 代码，无缝结合 LLM 应用程序的批处理、流处理和实时 API。每当收到新的输入和请求时，Pathway 的分布式运行时 (🦀-🐍) 都会提供数据管道的最新结果。

    Pathway 提供了 Python 中的高级编程接口，用于定义数据转换、聚合和数据流上的其他操作。借助 Pathway，您可以轻松设计和部署复杂的数据工作流程，从而高效地实时处理大量数据。

    Pathway 可与各种数据源和接收器（例如 Kafka、CSV 文件、SQL/noSQL 数据库和 REST API）互操作，允许您连接和处理来自不同存储系统的数据。

    Pathway 的典型用例包括实时数据处理、ETL（提取、转换、加载）管道、数据分析、监控、异常检测和推荐。Pathway 还可以独立为实时 LLM 应用程序提供轻型 LLMOps 堆栈的骨干。

    在 Pathway 中，数据以表格的形式表示。实时数据流也被视为表。该库提供了一组丰富的操作，例如过滤、联接、分组和窗口。

  2. NGED: 功能强大、高度可扩展的通用节点图编辑器，为自定义节点图工作流提供了灵活方便的底层支持

  3. 一个视频翻译工具，可将一种语言的视频翻译为另一种语言和配音的视频。 语音识别基于 openai-whisper 离线模型、文字翻译使用google翻译接口，文字合成语音使用 Microsoft Edge tts，背景音乐去除使用 Spleeter,无需购买任何商业接口，也无需付费

    pyvideotrans | #工具

  4. 机器学习和深度学习应避免的7种错误 | link | #经验

    1.使用低质量数据——缺失数据、噪音数据、不具代表性的数据都会降低模型性能。
    2.忽略离群值——离群数据点会对模型产生较大影响，需要妥善处理。
    3.数据集太大或太小——数据集需要适中且高质量，过大或过小会导致过拟合或欠拟合。
    4.使用性能不足的硬件——深度学习需要高性能计算资源，使用老旧系统会限制性能。
    5.集成错误——需要谨慎地将深度学习技术集成到旧系统中。
    6.重复使用单一模型——应该训练和评估多个模型，获得更全面的结果。
    7.首个模型就想要最佳效果——不同模型各有擅长，需要迭代和变化来获得鲁棒结果。

  5. LLMFarm：iOS/MacOS上的离线大语言模型App(使用GGML库)，基于Georgi Gerganov的ggml和llama.cpp。可以使用某些参数加载不同的 LLM。

  6. Flappy 是一款可投入生产的语言模型 (LLM) 应用程序/代理 SDK，旨在简化项目中的 AI 集成。它是一种易于使用、普遍兼容且可立即投入生产的解决方案，可为开发人员带来人工智能的强大功能，无论他们首选的编程语言是什么。

    主要特征
    易于使用：Flappy 的设计与 CRUD 应用程序开发一样用户友好，最大限度地缩短了刚接触 AI 的开发人员的学习曲线。

    生产就绪：除了研究之外，Flappy 是一个强大的 SDK，可以平衡成本效率和沙箱安全性，为商业环境提供稳定的平台。

    与语言无关：Flappy 可以与任何编程语言无缝集成，除非您的应用程序明确要求，否则无需使用 Python。

  8. 一个帮助你集成人工智能和机器学习技术到虚幻引擎的 UE 插件，功能包括动作捕捉、面部表情捕捉、语音合成 （TTS）、语音识别 （ASR） 等，所有功能都是实时、离线、低延迟且易于使用。

    MediaPipe4U | #插件

  9. FFL：类似CSS的语言，用于为LaTeX类型的数学公式添加样式，允许用户对数学公式进行格式设置，比如颜色、字体大小等

  10. Remembrall：一个API平台，它能为基于LLM的应用提供长期记忆能力，允许开发者只需两行代码即可将上下文信息插入到LLM调用中，这样LLM就可以利用用户聊天记录和相关文档进行回应 | #API