Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  2. Purl：用于文本处理的命令行工具，提供简单直观的命令选项，支持对文件或标准输入的处理，兼容 Mac 和 Linux

    purl是一个可以帮助你轻松处理来自不同来源的数据的工具。以下是它的主要特点：

    灵活的数据输入和输出：你可以直接输入数据或从文件中输入数据。同样，你可以选择将数据直接输出到屏幕或将其保存回文件。
    简单命令-replace：使用、-filter、 和等简单选项-exclude来管理你的数据。
    轻松编辑文件：该-overwrite选项可让你直接更新文件，使更改快速而简单。
    彩色输出：使用该-filter选项时，屏幕上的输出可以是彩色的。你可以使用-color或-no-color选项来控制它。
    该工具用户友好且有效，适用于不同的数据处理任务。

    评论区有演示视频

  3. Go-Proxy-BingAI - 用 Vue3 和 Go 搭建的微软 New Bing 演示站点，拥有一致UI 体验, ChatGPT 提示词, 基本兼容 BingAI 所有功能, 一键登录, 支持 API 调用

  7. LEGENT：具身智能体开放平台，为嵌入式智能体的构建和研究提供支持。该平台提供了多种嵌入式智能体，如语音助手、智能客服和自动驾驶车辆等

  13. qwen-vllm - 通义千问VLLM推理部署DEMO

    核心技术原理
    本项目旨在探索生产环境下的高并发推理服务端搭建方法，核心工作非常清晰，边角细节没有投入太多精力，希望对大家有帮助

    vLLM支持Continuous batching of incoming requests高并发批推理机制，其SDK实现是在1个独立线程中运行推理并且对用户提供请求排队合批机制，能够满足在线服务的高吞吐并发服务能力

    vLLM提供asyncio封装，在主线程中基于uvicorn+fastapi封装后的asyncio http框架，可以实现对外HTTP接口服务，并将请求提交到vLLM的队列进入到vLLM的推理线程进行continuous batching批量推理，主线程异步等待推理结果，并将结果返回到HTTP客户端

    vLLM天然支持流式返回next token，基于fastapi可以按chunk流式返回流式推理成果，在客户端基于requests库流式接收chunk并复写控制台展示，实现了流式响应效果