Tokasaurus：为高吞吐量任务设计的LLM推理引擎，让模型运行更高效。支持多种并行化技术，优化内存和计算资源，提升模型推理速度。

支持数据、管道和张量并行化，无缝扩展到多GPU；采用Hydragen技术，自动检测共享前缀，显著提升计算效率；低CPU开销，适合小模型和高性能GPU部署
py-pglite：让Python测试与PostgreSQL无缝对接，无需安装PostgreSQL，即可在测试中享受PostgreSQL的强大功能。

内存中运行，测试速度飞快；每个测试模块独立数据库，完全隔离；支持SQLAlchemy和SQLModel，无缝集成现有测试框架
Claude Composer CLI：为Claude Code提供增强工具，通过自动化和灵活配置提升用户体验。

自动处理权限对话框，减少中断；支持多种规则集和工具集，灵活控制操作；系统通知增强可见性，实时掌握运行状态
Awesome-LLM-Scientific-Discovery：汇集大型语言模型（LLM）在科学研究中的前沿论文、工具和资源。它为研究人员、开发者和爱好者提供了一个全面的概览，助力探索LLM在科学发现中的应用。

从自动化到自主化的三级框架，清晰划分LLM在科学研究中的角色；涵盖从文献综述到实验规划、数据分析再到假设验证的全流程；提供丰富的研究论文和工具资源，助力快速入门和深入研究
adb-mcp：为Adobe工具（Photoshop和Premiere）打造的AI Agent接口项目，让AI通过MCP协议直接控制创意软件。

交互式图形支持拖拽和缩放；支持层级模块的可折叠节点；错误容忍的局部可视化功能，方便调试
torchvista：用一行代码在Jupyter等笔记本中直观可视化PyTorch模型的前向传播过程。

交互式图形支持拖拽和缩放；支持层级模块的可折叠节点；错误容忍的局部可视化功能，方便调试
50个最热门的大语言模型(LLM)面试问题
LLM Interview Questions.pdf
71.2 KB
fastapi-guard：为FastAPI应用提供全方位安全防护的中间件库。它能解决FastAPI应用的安全漏洞问题，核心价值在于增强API的安全性和稳定性。

提供IP白名单和黑名单功能，精准控制访问权限；自动IP封禁机制，可疑请求达到阈值后自动封禁IP；支持云服务提供商IP阻断，有效防止恶意攻击。
Before
After
Back to Top