Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  2. 开源的基础模型能力评测框架，提供了一套轻量级、易于使用的评测体系，支持主流大模型的性能评估。

    其主要特点如下：

    轻量易用的评估框架：无缝设计，界面直观，依赖性极小，部署轻松，可扩展性极佳，适应多样化评估场景。

    评估方式灵活多样：支持统一提示模板，评估指标丰富，可个性化定制，满足特定需求。

    高效、快速的推理部署：支持torch、vLLM等多种模型部署策略，实现多实例部署，实现快速评估流程。

    公开透明的开源排行榜：维护开放、可追溯、可复制的评估排行榜，由社区更新驱动，以确保透明度和可信度。

    官方权威评测数据：采用广泛认可的官方评测集，确保评测的公平性和标准化，确保结果具有可比性和可重复性。

    全面而广泛的模型支持：为广泛的模型提供支持，包括来自 Huggingface 开源存储库的模型和个人训练的模型，确保全面的覆盖范围。

    UltraEval | #框架

  3. Poly：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

    主要提供：
    为多个本地 LLM 模型提供高性能、高效和可靠的服务
    可选择通过 CUDA 或 Metal 进行 GPU 加速
    可配置的 LLM 完成任务（提示、召回、停止令牌等）
    通过 HTTP SSE 流式传输完成响应，使用 WebSockets 聊天
    使用 JSON 模式对完成输出进行有偏差的采样
    使用向量数据库（内置文件或 Qdrant 等外部数据库）进行记忆检索
    接受 PDF 和 DOCX 文件并自动将其分块存储到内存中
    使用静态 API 密钥或 JWT 标记确保 API 安全
    简单、单一的二进制+配置文件服务器部署，可水平扩展

    附加功能：

    用于轻松测试和微调配置的 Web 客户端
    用于本地运行模型的单二进制跨平台桌面客户端

  4. 动手学大模型应用开发：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门

    主要内容包括：

    大模型简介，何为大模型、大模型特点是什么、LangChain 是什么，针对小白开发者的简单介绍；
    如何调用大模型 API，本节介绍了国内外知名大模型产品 API 的多种调用方式，包括调用原生 API、封装为 LangChain LLM、封装为 Fastapi 等调用方式，同时将包括百度文心、讯飞星火、智谱AI等多种大模型 API 进行了统一形式封装；
    大模型开发流程及架构，大模型应用开发的基本流程、一般思想和本项目的架构分析；
    数据库搭建，不同类型知识库文档的加载、处理，向量数据库的搭建；
    Prompt 设计，如何设计 Prompt 来让大模型完成特定任务，Prompt Engineering 的原则和技巧有哪些；
    验证迭代，大模型开发如何实现验证迭代，一般的评估方法有什么；
    前后端开发，如何使用 Gradio、FastAPI 等框架快速开发大模型 Demo，展示应用能力。

  6. 为了让 AI 对话更具趣味性，GitHub 上一位开发者开源了「SillyTavern」。

    这是一个可以安装在电脑（和安卓手机）上的用户界面，让你可以与文本生成的人工智能互动，并与社区创建的角色聊天/玩角色扮演游戏。

    项目支持自定义扩展，目前包括以下此类功能：

    - 作者注释/角色偏见；
    - 角色情绪识别；
    - 聊天记录自动摘要；
    - 在聊天窗口发送图片，并由人工智能解释图片内容；
    - 文本图像生成；
    - 聊天信息的文字转语音。

    你可以用它来创建一个可交互的二次元 AI 妹子，并跟她进行实时交流，探索人物与剧情。

    开发者可以通过接入不同大语言模型的 API，在 Windows、macOS、Linux 系统上快速运行该应用。

    目前项目仍在持续迭代，未来将新增更多有趣的功能。

  7. modihand：独立部署，训练属于你的文本大模型

    只需要上传你的 json 数据集，然后在网页点几下，就可以训练属于你的文本大模型

    支持 Lora，Ptuning，Freeze 等多种微调训练方式；支持多个开源大模型作为基底，可以完整下载训练完的模型权重，自己部署，断网离线使用

  8. 12月1日之后，微软将向订阅了Microsoft 365的中国大陆的企业和教育机构免费提供Copilot功能。Copilot AI 模型支持联网获取数据。

    支持的许可证包括：

    Microsoft 365 E3
    Microsoft 365 E5
    Microsoft 365 Business Standard
    Microsoft 365 Business Premium
    Microsoft 365 A3
    Microsoft 365 A5

  10. Storefronts —— 在线商店网页设计收集

    专门收集在线商店网页的网站，可以按行业、设计风格和字体筛选，每周五更新，目前收集了 54 个。

  11. 超越索尼，微软成为全球第二大游戏公司

    来自分析公司 Newzoo 的消息：在完成针对动视暴雪的收购后，微软在历史上首次超越索尼成为全球第二大游戏公司。索尼则从原先市场第二的地位下降到了第三，全球最大游戏公司的称号则依然由腾讯公司独占鳌头。

  13. 显卡上安装 SSD，华硕新款 4060Ti 亮相

    华硕中国区总经理俞元麟近日在自己的 B 战频道「普普通通 Tony 大叔」内，向玩家公开演示了该司发布于今年 7 月的 4060 Ti 概念显卡。这张显卡与众不同的点在于其背板上集成的一个 M.2 接口，玩家可以通过该接口安装 PCIE 5.0 固态，并借助显卡散热器为固态提供更好的散热（或者是被显卡加热）。

    除了用来拓展硬盘位，借助 NVME 控制器本身可直接访问 PCIE 的特性，玩家还可以在这张 4060 Ti 上额外安装其他的 PCIE 设备，比如 Tony 大叔所展示的为 4060Ti 安装 4090 显卡。值得注意的是，由于 Intel 的入门平台并不支持 PCIE 通道拆分功能，若想利用这张 4060 Ti 上的额外 M.2 接口，你需要确保使用了 Intel Z 系列主板（最低支持 Z690）或 B450 以上版本的所有 AMD 平台主板。