GPU编程的优化技术:本文综述了在过去14年中发表的450篇文章中发现的各种GPU编程优化技术。我们从不同的角度分析了这些优化,发现它们之间高度相关,这解释了为什么需要像自动调节这样的技术。
黑洞资源笔记
-
- 微博增加「X」风格新图标
新浪微博在最新版的更新中加入了两个仅 SVIP 用户才能设置的新图标 ,这两款采用黑白简约风打造的「S」与「W」字母图标与 Twitter 改名后更换的 X 图标在设计上高度相似 -
- 2023 异空间安全 第12期 就业班
v2会员免费看 - Swift Transformers:苹果设备端优化的Transformer,可将大型语言模型如Llama转换至苹果设备上的Core ML格式,从而在iOS和macOS应用中使用
-
- 用KV缓存加速GPT模型的推理过程,用KV(Key-Value)缓存来提高Transformer模型推理的速度 | link
- Python Vercel LLM API:用于访问 Vercel AI Playground 上的各种语言模型的逆向工程API封装,包括 OpenAI 的 ChatGPT、Cohere 的 Command Nightly 以及一些开源模型
- Madrona:用于创建基于GPU加速的高吞吐模拟器的原型游戏引擎,能在单个GPU上运行成千上万个虚拟环境实例,每秒生成数百万个模拟步骤。
这种高效率对于高性能AI智能体的训练(如通过强化学习)或需要将高性能环境模拟器紧密集成到更广泛应用中的任务非常有用 - Doculite:将SQLite用作文档数据库,支持在文档、集合和基本查询上进行监听
-
- Indexify 是一种用于生成人工智能应用程序的检索和长期记忆服务。
通过对上传到服务的新文档运行提取模型(例如嵌入、NER 等),索引始终保持最新。Indexify 有一个内置的分布式提取调度程序,允许为生产用例索引大量数据。
它还为 LLM 应用程序提供 API 以从索引中检索信息。代理可以存储长期记忆并实时查询它们,以个性化副驾驶或基于聊天的应用程序。
除了用于语义搜索的嵌入向量索引之外,Indexify 还可以构建包含 NER 模型、意图理解等提取的 K/V 或 JSON 文档的索引。 - Extpose:一个学习 Chrome 优秀插件产品设计和技术细节的产品,提供了 Chrome 插件的每日最热榜单和历史最多下载量榜单,可以在这里观测到近期都上架了哪些优秀的产品。
插件详情页,提供了一个 zip 文件的插件源码的下载入口,解压后即可看到源码。 -