Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  2. MovieLLM: 用AI合成电影数据 用来训练AI对长视频理解

    MovieLLM 是由复旦大学和腾讯PCG的研究人员共同开发的一个新颖框架，能够从简单的文本提示中生成高质量、电影级别的视频数据。MovieLLM 能仅仅通过一个词或一个句子就能创作出一部完整的电影。

    MovieLLM 旨在为长视频创建合成的高质量数据。这个框架结合了GPT-4和文本到图像的模型，以生成详细的剧本和相应的视觉内容。

    通俗来讲就是：MovieLLM 通过合成电影数据为人工智能模型提供训练材料，使它们能够更好地理解和生成长视频内容。

    GitHub | MovieLLM | paper | #框架
    Media is too big
    VIEW IN TELEGRAM

  5. dockerc：将Docker镜像编译成独立的可执行文件，可以将Docker镜像转换为用户可以直接运行的可执行文件，无需进行Docker运行时的安装和配置

  8. 数据清洗指南，旨在为机器学习和人工智能项目提供基础清理步骤，包括标准化空值、移除重复记录、删除大部分缺失数据的列、缺失值填充以及使用机器学习算法进行数据插补

  11. oterm：Ollama的文本终端客户端

    -直观简单的终端用户界面，无需运行服务器、前端，只需oterm在终端中输入即可。
    -多个持久聊天会话，与 sqlite 中的上下文嵌入和模板/系统提示自定义一起存储。
    -可以使用你在 Ollama 中拉取的任何模型，或者自己的自定义模型。
    -允许轻松定制模型的模板、系统提示和参数。

  13. 使用大型语言模型进行文本压缩的实用工具，与其他压缩工具相比，具有更高的压缩比。

    基于RWKV 169M v4语言模型，该模型在速度和压缩比之间取得了良好的折衷。但其压缩和解压速度较传统压缩工具慢(RTX 4090上的速度为每秒1MB)，且只支持文本文件。

    ts_zip | #工具

  14. fltr：提供了类似于grep的功能，但用于处理自然语言问题，基于Mixtral 8x7B模型进行开发，能根据给定的问题，在文本中搜索匹配的结果并返回

  15. 一个基于 Nvidia Isaac Gym 的易于使用的强化学习 (RL) 框架，旨在训练人形机器人的运动技能，强调从模拟到现实环境的零样本迁移。Humanoid-Gym还集成了从Isaac Gym到Mujoco的sim-to-sim框架，允许用户在不同的物理模拟中验证训练好的策略，以确保策略的鲁棒性和泛化性。

    该代码库由 RobotEra 的 XBot-S（1.2 米高的人形机器人）和 XBot-L（1.65 米高的人形机器人）在现实环境中进行了验证，具有零样本模拟到真实的传输。

    Humanoid-Gym | #框架

  16. BAML：用于构建强类型LLM函数的编程语言，包括测试和可观察性功能，BAML是一个轻量的编程语言，可以使用自然语言定义具有结构化输入和输出的AI函数，还提供了VSCode Playground，可以在不离开VSCode的情况下即时测试任何LLM的提示。