Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. Genoss GPT：在任意应用中用一行代码将商业版LLM(GPT 3.5/4)替换为私有模型(Falcon、GPT4ALL等)，旨在提供与OpenAI模型(如GPT 3.5/4)无缝对接的替代方案

  2. LLM Engine：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式

    主要特征
    🎁 适用于你喜爱的模型的即用型 API：部署和服务开源基础模型 - 包括 LLaMA、MPT 和 Falcon。使用 Scale 托管模型或部署到您自己的基础设施。

    🔧 微调基础模型：根据您自己的数据微调开源基础模型，以优化性能。

    🎙 优化推理：LLM Engine 提供推理 API，用于流式响应和动态批处理输入，以实现更高的吞吐量和更低的延迟。

    🤗 开源集成： 使用单个命令部署任何Hugging Face模型。

    即将推出的功能
    🐳 K8s 安装文档：我们正在努力记录您自己的基础设施上推理和微调功能的安装和维护。目前，我们的文档涵盖了使用我们的客户端库访问 Scale 的托管基础​​设施。

    ❄️ 快速冷启动时间：为了防止 GPU 闲置，LLM Engine 在不使用模型时会自动将模型缩放为零，并在几秒钟内扩展，即使对于大型基础模型也是如此。

    💸 成本优化：部署人工智能模型比商业模型更便宜，包括冷启动和预热时间。

  3. 微软开放 Copilot 试用，所有测试用户均可试玩

    微软将为已经升级到 Windows11 Build 23493 的所有 Insider 用户提供 Windows Copilot 的试用，用户只需点击任务栏上的 Copilot 按钮或按下 Win + C 键即可 Windows Copilot。

    对于先前已经升级到 Build 23493 版本的 Insider 用户，微软表示可能需要重启设备才能看到 Copilot 助手的入口，这项功能开启后将以侧边栏的形式在屏幕右侧悬浮，用户随时可以与 Copilot 交互，并获得设备使用与生产力提升方面的帮助。

  4. 清华用ChatGPT打造了个「零人工含量」的「游戏公司」，从老板到员工都是AI。只要你提出想法，从设计到测试的完整流程，都由AI帮忙搞定。整个过程走下来，只要七分钟就能完成，成本不到0.3美元(人民币两块多一点)！

    公司叫ChatDev，顾名思义，就是通过聊天来进行开发。十多个聊天机器人分别扮演着不同的角色，串联在一起完成开发工作。整个过程用ChatGPT就能完成，无需为每个环节专门训练相应的模型。

    这个「公司」开发一款游戏的平均时间是409.84秒，最快的甚至不到三分钟，最慢的也不过17分钟。| 详文

  5. 一个将写 Prompt 门槛降低到地板以下的工具网站。

    只要给出最初始的需求，结合AI进行调试，最终可以获得一个符合预期的 Prompt。在确保 AI 回答质量不下降的情况下，还可以利用这个工具对 Prompt 做精简，增加道德约束、法律约束等。

    你可以直接在网站上完成多个 AI 模型的效果测试，直观地观测上面拿到的 Prompt 在所有流行的大模型中，效果是不是都符合预期。

    它还提供了一个 Prompt as a Service 的服务，提示词即服务，这可以帮助开发者（和非开发者）构建一个立马可用的 Agent 服务，例如设计一个翻译接口、数据转换接口、业务建模服务、学生助教服务、互动游戏设计服务等。

    PromptPerfect | #工具

  7. K9s：一种管理 Kubernetes 集群的惰性方式。

    K9s提供了一个终端UI来与Kubernetes集群交互。这个项目的目的是使您的应用程序更容易导航、观察和管理。k9会持续监视Kubernetes的变化，并提供后续命令与观察到的资源进行交互。

  8. 32Gbps，三星完成 GDDR7 显存研发

    三星电子今日宣布：公司已经完成业内首款 GDDR7 显存的研发工作，接下来将在主要客户的下一代产品上进行产品验证。相对于去年推出的 16G GDDR6 显存芯片最高 24Gbps 的速率，相同容量的 GDDR7 显存不仅达到了 32Gbps 的速率，还同时降低了 20% 的能耗。

  12. 暴雪总裁称将尽快回归中国

    在近日的一场直播活动中，暴雪总裁 Mike Ybarra 回答了关于国区战网是否能在年内回归的提问。

    Mike Ybarra 一改以往闭口不提战网国服的态度，并回答到：我非常想让中国服务器尽快回归。相信我，我会尽我所能来实现这一点。