Skip to main content

黑洞资源笔记

  1. Secondbrain:跨平台桌面应用程序,可在本机下载和运行大型语言模型(LLM),允许在本地使用AI对话,无需联网,保护隐私,可自由表达想法
  2. Code Interpreter API ,一个ChatGPT 代码解释器的开源(LangChain )实现。

    使用 CodeBoxes 作为沙盒 Python 代码执行的后端,可以使用自己的 OpenAI API 密钥在本地运行除 LLM 之外的所有内容。
  3. 打击共享初显成效,Netflix 新增 590 万订阅用户

    Netflix 公布了其 Q2 季度的财报,在其禁止多用户共享同一订阅账户后,目前其全球付费订阅用户相对于 Q1 提升了590 万名,总数已达 2.3839 亿。上季度 Netflix 营收近 82 亿美元,利润则超过了 18 亿美元,虽不及分析师 83 亿美元的营收预期,但 Netflix 仍然认为 Q2 季度的收入增长来自针对密码共享行为的打击。
  4. 暴雪旗下所有正在运营的游戏将陆续登录 Steam 平台,其中的代表作《守望先锋 2》将于 8 月 11 日在 Steam 正式发行,目前游戏已经在 Steam 上架并处于预定阶段。| link
  5. 微星推出新款显示器,27 寸 IPS/100Hz/699 元

    微星今日在电商平台上架了一款高性价比的显示器新品:微星 PRO MP273A。这款新品采用了 27 英寸的 1080P 面板,支持最高 100Hz 的刷新率与 250nits 的亮度。产品包含 DP、HDMI 与 VGA 接口, 显示器底座则可当作显示器支架使用。

    除了上述特性,MP273A 还支持可减少画面撕裂的 AMD Free Sync 技术, 并在这个价位罕见的提供了内置的双扬声器。对于桌面空间紧张但又需要听个响的用户来说,算是一个性价比很高的选择。
  6. BuboGPT:可以理解图像和音频的内容,并将这些理解与文本输入和输出相结合。

    BuboGPT是由字节跳动开发的大型语言模型,能够处理多模态输入,包括文本、图像和音频,并具有将其响应与视觉对象相对应的独特能力。

    它可以进行细粒度的视觉理解,音频理解,以及对齐的音频-图像理解和任意音频-图像理解。

    BuboGPT的架构是通过学习一个共享的语义空间并进一步探索不同视觉对象和不同模态之间的细粒度关系,从而实现了包括图像、音频和文本在内的多模态理解。

    它的训练过程包括两个阶段:单模态预训练和多模态指令调整。

    在单模态预训练阶段,对应的模态Q-Former和线性投影层在大量的模态-文本配对数据上进行训练。

    在多模态指令调整阶段,使用高质量的多模态指令跟踪数据集对线性投影层进行微调。

    当你给它一个图像和一段描述图像的文本时,BuboGPT能够理解文本和图像之间的关系,并生成一个与图像内容相对应的响应。这种能力使得BuboGPT可以在对话中提供更丰富、更具上下文的回答。

    音频理解能力:当你给它一个音频剪辑时,它可以生成一个详细的描述,涵盖音频中的所有声音部分,甚至包括一些人类可能无法注意到的短暂音频片段。

    BuboGPT还可以处理匹配的音频-图像对,进行声音定位。例如,如果你给它一个场景的图片和场景中发生的声音,它可以理解声音和图像之间的关系,并生成一个描述声音来源位置的响应。

    即使音频和图像之间没有直接的关系。在这种情况下,BuboGPT可以生成一个高质量的响应,描述音频和图像之间的可能关系。
  7. KartivAI: 将webgi 3D渲染和AI结合,高效批量产出广告营销素材

    你只需上传素材,如你的标志或产品图片,然后描述想要的创意,Kartiv就会使用你的描述和素材来创建吸引人的视觉效果。这些都是自动化的,实时的,并在浏览器内部运行。KartivAI还实现了多种图形效果,同时还能生成复杂的3D 场景。

    Kartiv 的特点包括:

    易于使用:不需要任何设计知识或经验。
    专业工具:可以编辑和配置创意中的每一个元素。
    变体:Kartiv 可以快速生成大量的变体,使得探索和可视化多种想法变得容易。
    自动调整大小:Kartiv 会自动调整你的创意的大小,以适应不同的媒介。
    AI助手:Kartiv 的AI会学习和适应你的喜好,并在你的创意想法流动时提出建议。
    协作:与你的团队分享想法和创意的完美工具,从简报到生产就绪的视觉效果。
    测量:你可以使用 Kartiv 测试想法并衡量其影响。
    优化:可以帮助你根据创意的表现来改进它们。

    KartivAI还实现了多种图形效果,如 SSR(屏幕空间反射)、SSGI(屏幕空间全局照明)、AO(环境光遮蔽)、渐进阴影、去噪等,这些都可以使生成的图片和视频看起来更加真实和专业。

    同时KartivAI还利用了最近在 LLMs(低级别模型)和扩散 AI 方面的进步,这使得它能够更好地理解和生成复杂的 3D 场景。
  8. StableSR:提高任何大小图像的分辨率

    该项目使用了一个预训练的扩散模型,这个模型已经学习了如何生成高分辨率的图像。

    通过这种方式,他们的方法可以从一个低分辨率图像生成一个高分辨率图像,而不需要任何关于图像内容的先验知识。非常适合用于真实世界的图像超分辨率任务。

    1、使用一个名为"时间感知编码器"的工具,这个工具可将低分辨率图像转换为一个特征表示。这个特征表示包含了图像的重要信息,但是它的大小是固定的,不受图像分辨率的影响

    在不改变预训练的合成模型的情况下,实现有前景的恢复结果,从而保留生成的先验并最小化训练成本。

    2、使用一个名为"特征包装模块"的工具,这个工具可以将特征表示转换为一个高分辨率图像。这个工具可以通过调整一个参数来平衡生成图像的质量和保真度。

    3、使用一个名为"渐进式聚合采样策略"的工具,这个工具可以生成任意大小的高分辨率图像。这个工具通过在不同的尺度上应用扩散模型,然后将结果聚合在一起,来生成高分辨率图像。
    Media is too big
    VIEW IN TELEGRAM
  9. 轻量、可扩展的智能体框架,让开发人员用 LLM 和自定义工具构建自己的智能体,通过模拟对话自动评估不同的用户场景,旨在通过简化智能体定制和评估来实现生成智能体的快速迭代。

    AutoChain | #框架
  10. Spring Startup Ananlyzer 这个项目可以采集Spring应用启动过程数据,生成交互式分析报告(HTML),用于分析Spring应用启动卡点,支持Spring Bean异步初始化,减少优化Spring应用启动时间。

    采集报告包括Spring Bean初始化详情信息,支持初始化耗时/beanName搜索、Spring Bean初始化时序图、方法调用次数及耗时统计(支持自定义方法)、应用未加载的jar包(帮助fatjar瘦身)及应用启动过程线程wall clock火焰图,帮助开发者快速分析定位应用启动卡点
  11. Genoss GPT:在任意应用中用一行代码将商业版LLM(GPT 3.5/4)替换为私有模型(Falcon、GPT4ALL等),旨在提供与OpenAI模型(如GPT 3.5/4)无缝对接的替代方案
  12. LLM Engine:一个开源引擎,用于微调和提供大型语言模型的服务,是定制和提供LLM的最简单方式

    主要特征
    🎁 适用于你喜爱的模型的即用型 API:部署和服务开源基础模型 - 包括 LLaMA、MPT 和 Falcon。使用 Scale 托管模型或部署到您自己的基础设施。

    🔧 微调基础模型:根据您自己的数据微调开源基础模型,以优化性能。

    🎙 优化推理:LLM Engine 提供推理 API,用于流式响应和动态批处理输入,以实现更高的吞吐量和更低的延迟。

    🤗 开源集成: 使用单个命令部署任何Hugging Face模型

    即将推出的功能
    🐳 K8s 安装文档:我们正在努力记录您自己的基础设施上推理和微调功能的安装和维护。目前,我们的文档涵盖了使用我们的客户端库访问 Scale 的托管基础​​设施。

    ❄️ 快速冷启动时间:为了防止 GPU 闲置,LLM Engine 在不使用模型时会自动将模型缩放为零,并在几秒钟内扩展,即使对于大型基础模型也是如此。

    💸 成本优化:部署人工智能模型比商业模型更便宜,包括冷启动和预热时间。
  13. 微软开放 Copilot 试用,所有测试用户均可试玩

    微软将为已经升级到 Windows11 Build 23493 的所有 Insider 用户提供 Windows Copilot 的试用,用户只需点击任务栏上的 Copilot 按钮或按下 Win + C 键即可 Windows Copilot。

    对于先前已经升级到 Build 23493 版本的 Insider 用户,微软表示可能需要重启设备才能看到 Copilot 助手的入口,这项功能开启后将以侧边栏的形式在屏幕右侧悬浮,用户随时可以与 Copilot 交互,并获得设备使用与生产力提升方面的帮助。
  14. 清华用ChatGPT打造了个「零人工含量」的「游戏公司」,从老板到员工都是AI。只要你提出想法,从设计到测试的完整流程,都由AI帮忙搞定。整个过程走下来,只要七分钟就能完成,成本不到0.3美元(人民币两块多一点)!

    公司叫ChatDev,顾名思义,就是通过聊天来进行开发。十多个聊天机器人分别扮演着不同的角色,串联在一起完成开发工作。整个过程用ChatGPT就能完成,无需为每个环节专门训练相应的模型。

    这个「公司」开发一款游戏的平均时间是409.84秒,最快的甚至不到三分钟,最慢的也不过17分钟。| 详文