黑洞资源笔记

黑洞资源笔记

1. 14:19 · Apr 15, 2024 · Mon

   用 Godot 制作的代码编辑器
   
   GriddyCode | #编辑器

2. 14:18 · Apr 15, 2024 · Mon

   

   ×

   

   drawpyo：用代码生成Draw.io 图表的Python库

3. 14:17 · Apr 15, 2024 · Mon

   

   ×

   

   本地 LLM 推理项目大列表 | awesome-local-llms

4. 14:16 · Apr 15, 2024 · Mon

   LEGENT：具身智能体开放平台，为嵌入式智能体的构建和研究提供支持。该平台提供了多种嵌入式智能体，如语音助手、智能客服和自动驾驶车辆等

5. 14:15 · Apr 15, 2024 · Mon

   

   ×

   

   

   ×

   

   sam-cpp-macos：macOS下的SAM分割模块的C++封装

6. 14:14 · Apr 15, 2024 · Mon

   

   ×

   

   面向计算机视觉的Mamba相关论文资源列表 | Mamba-in-Computer-Vision

7. 14:13 · Apr 15, 2024 · Mon

   

   ×

   

   模拟群聊的交互工具，旨在促进更好的集体群体行为，旨在帮助研究人类群体行为，并为研究人类行为提供有用的工具
   
   Agent Group Chat | #工具

8. 14:13 · Apr 15, 2024 · Mon

   ComfyUI ArtGallery | Prompt Visualization：用于可视化提示词的项目，提供了五大类提示词参考图，包括艺术家、艺术运动、艺术媒介、相机镜头和胶片相机

9. 14:12 · Apr 15, 2024 · Mon

   

   ×

   

   repo2pdf：将 GitHub 仓库转换为 PDF 文件的工具 | #工具

10. 14:11 · Apr 15, 2024 · Mon

    

    ×

    

    

    ×

    

    qwen-vllm - 通义千问VLLM推理部署DEMO
    
    核心技术原理
    本项目旨在探索生产环境下的高并发推理服务端搭建方法，核心工作非常清晰，边角细节没有投入太多精力，希望对大家有帮助
    
    vLLM支持Continuous batching of incoming requests高并发批推理机制，其SDK实现是在1个独立线程中运行推理并且对用户提供请求排队合批机制，能够满足在线服务的高吞吐并发服务能力
    
    vLLM提供asyncio封装，在主线程中基于uvicorn+fastapi封装后的asyncio http框架，可以实现对外HTTP接口服务，并将请求提交到vLLM的队列进入到vLLM的推理线程进行continuous batching批量推理，主线程异步等待推理结果，并将结果返回到HTTP客户端
    
    vLLM天然支持流式返回next token，基于fastapi可以按chunk流式返回流式推理成果，在客户端基于requests库流式接收chunk并复写控制台展示，实现了流式响应效果

11. 14:09 · Apr 15, 2024 · Mon

    

    ×

    

    surya-rs：基于 Rust 语言实现的多语言文档 OCR 工具包，基于修改版 Segformer、OpenCV 和 donut transformer 实现

12. 09:06 · Apr 14, 2024 · Sun

    

    ×

    

    

    ×

    

    渗透攻击红队｜2024年打造六边形战士安全培训（内网红队、代码审计、Web安全）| 团购价200

13. 16:01 · Apr 12, 2024 · Fri

    

    ×

    

    

    ×

    

    

    ×

    

    

    ×

    

    

    ×

    

    

    ×

    

    

    ×

    

    

    ×

    

    

    ×

    

    Awesome Cloudflare - 精选的 Cloudflare 工具、开源项目、指南、博客和其他资源列表