黑洞资源笔记
-
- Ask anything... | perplexity
-
-
-
- OpenAI Node.js Library | more
OpenAI Node.js 库提供了从 Node.js 应用程序对 OpenAI API 的便捷访问。库中的大部分代码都是根据OpenAPI 规范生成的。
此库仅供服务器端使用,因为在客户端浏览器代码中使用它会暴露你的秘密API密钥 - Bing Chat 公然地、激进地偏离了它的目的 | 原文
-
- FlexGen:在单个GPU上(如16GB T4 GPU或24GB RTX3090游戏卡)运行像OPT-175B/GPT-3这样的大型语言模型,比其他基于offloading的系统快100倍。
FlexGen 允许通过IO高效卸载、压缩和大有效批处理大小生成高吞吐量。 - tensor_parallel:一行代码将 PyTorch 大模型分到多个GPU上运行(训练/推理)
- 实战教程:从头编写编译器 | 地址
- 简单好用的、无任何三方依赖的、跨平台的、收录于awesome-cpp的、基于流图的并行计算框架
CGraph是一个跨平台的有向循环图框架,基于纯C++,没有任何第三方依赖。 CGraph 是C olor Graph的缩写,是一个跨平台的 DAG 计算框架,没有任何第三方依赖。通过 via 的调度GPipeline,实现了元素顺序并发执行的目的。
只需要继承GNode类,实现run()子类中的方法,根据需要设置依赖,即可实现任务的图形化执行。
同时还可以通过设置各种GGroups来控制图的条件判断、循环或者并发执行逻辑,这些s本身就包含了多节点的信息。
你可以在许多场景中传输参数。也可以通过添加来横向扩展上述元素的功能GAspect,或者通过引入各种来增强单个节点的功能GAdapter。
CGraph | #框架