Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  3. qwen-vllm - 通义千问VLLM推理部署DEMO

    核心技术原理
    本项目旨在探索生产环境下的高并发推理服务端搭建方法，核心工作非常清晰，边角细节没有投入太多精力，希望对大家有帮助

    vLLM支持Continuous batching of incoming requests高并发批推理机制，其SDK实现是在1个独立线程中运行推理并且对用户提供请求排队合批机制，能够满足在线服务的高吞吐并发服务能力

    vLLM提供asyncio封装，在主线程中基于uvicorn+fastapi封装后的asyncio http框架，可以实现对外HTTP接口服务，并将请求提交到vLLM的队列进入到vLLM的推理线程进行continuous batching批量推理，主线程异步等待推理结果，并将结果返回到HTTP客户端

    vLLM天然支持流式返回next token，基于fastapi可以按chunk流式返回流式推理成果，在客户端基于requests库流式接收chunk并复写控制台展示，实现了流式响应效果

  7. Awesome-LLM-SoftwareTesting：关于在软件测试中使用大型语言模型 (LLM) 的论文和资源的集合。

    LLM已成为自然语言处理和人工智能领域的突破性技术。这些模型能够执行各种与编码相关的任务，包括代码生成和代码推荐。因此，在软件测试中使用LLM预计会产生显着的改进。一方面，软件测试涉及诸如单元测试生成之类的任务，这些任务需要代码理解和生成。另一方面，LLM可以生成多样化的测试输入，以确保全面覆盖正在测试的软件。

    此存储库对LLM在软件测试中的运用进行了全面回顾，收集了 102 篇相关论文，并从软件测试和法学硕士的角度进行了全面的分析。

  10. Asterinas：一个安全、快速、通用的操作系统内核。 它提供于Linux相同的ABI，可无缝运行Linux应用， 但比Linux更加内存安全和开发者友好。

    Asterinas在内存安全性方面远胜Linux。 它使用Rust作为唯一的编程语言， 并将unsafe Rust的使用限制在一个明确定义且最小的可信计算基础（TCB）上。 这种新颖的方法， 被称为框内核架构， 使星绽成为一个更安全、更可靠的内核选择。

    而在开发者友好性方面，Asterinas优于Linux。 它赋能内核开发者们使用生产力更高的Rust编程语言；利用一个专为内核开发者设计的工具包（称为OSDK）来简化他们的工作流程；享受MPL所带来的灵活性， 可自由选择开源或闭源他们为Asterinas所开发的内核模块或驱动。