Cohere Toolkit:一组预构建的组件,使用户能够快速构建和部署 RAG(Retrieval Augmented Generation)应用
黑洞资源笔记
-
- Terrarium 是一个延迟相对较低、易于使用且经济的 Python 沙箱 - 用作 docker 部署的容器,例如在 GCP Cloud Run 中 - 用于执行不受信任的用户或 LLM 生成的python代码。
Terrarium 速度很快:使用简单的 matplotlib 条形图生成 200 dpi png 需要 900 毫秒运行时间 - svg 版本需要 500 毫秒。 (托管在 GCP Cloud Run 上)
Terrarium 很便宜:我们在内部注释期间在 GCP 上托管 Terrarium 的费用每月不到 30 美元(2GB mem + 1vCPU 和至少 1 个活动实例 + 按需自动缩放)
玻璃容器是完全分隔的:沙箱在每次调用后都会完全回收。调用之间不会传递任何状态。Cohere 不对沙箱的完整性提供任何保证。
Terrarium 支持本机输入和输出文件:你可以发送任意数量和类型的文件作为请求的一部分,我们将它们放入 python 文件系统中。代码执行后,我们收集所有生成的文件并将它们与响应一起返回。
Terrarium 支持许多常见的软件包: Terrarium 运行在Pyodide上,因此它支持 numpy、pandas、matplotlib、sympy 和其他标准 python 软件包。 -
-
- phidata:为 LLM 添加长期记忆,旨在解决 LLM 有限的上下文和无法采取行动的问题
-
- Cloudflare的大模型试炼场,提供包括LLaMa-3-8B在内的多个13B以下模型的在线试用
- torchtitan:用于大规模语言模型(LLM)训练的原生PyTorch库
- SkipDB & Watermark & Txn:嵌入式、内存中、零拷贝、ACID、MVCC、几乎无锁且提供可序列化快照隔离的数据库引擎
-
- Swan:使用FPGA的轻量级语言模型执行环境,目标是利用高级综合(HLS)在通用FPGA上高效地运行语言模型
-
- Llama3-8B-Chinese-Chat:首个中文微调LLaMa 3模型,基于 Meta-Llama-3-8B-Instruct 模型,使用 ORPO 对其进行了中文微调,从而提高了其在中文问答中的表现
-
- AI 流程图生成器,使用 LlamaIndex 和 Vercel AI SDK 构建的 AI 图表生成器,可以根据给定的主题生成图表,并在生成过程中实时流传输部分图表
ai-diagram-generator | #生成器 - Empirical:快速测试和评估 LLM、提示和其他配置,适用于应用的所有重要场景
- seemore:用 PyTorch 从头开始实现的视觉语言模型