技术,生活,随看 \随转
Llama2-webui：允许用户在任何地方（Linux/Windows/Mac）通过 gradio web UI 在 GPU 或 CPU 上运行 Llama 2。
它支持 Llama-2-7B/13B/70B，并且可以使用 8-bit 或 4-bit 模式。它支持至少有 6 GB VRAM 的 GPU 推理，以及至少有 6 GB RAM 的 CPU 推理。
支持多种模型：Llama-2-7b/13b/70b，所有的Llama-2-GPTQ，所有的Llama-2-GGML等
支持多种模型后端：Nvidia GPU（transformers，bitsandbytes（8-bit 推理），AutoGPTQ（4-bit 推理）），CPU，Mac/AMD GPU（llama.cpp）
Web UI接口：gradio
它支持 Llama-2-7B/13B/70B，并且可以使用 8-bit 或 4-bit 模式。它支持至少有 6 GB VRAM 的 GPU 推理，以及至少有 6 GB RAM 的 CPU 推理。
支持多种模型：Llama-2-7b/13b/70b，所有的Llama-2-GPTQ，所有的Llama-2-GGML等
支持多种模型后端：Nvidia GPU（transformers，bitsandbytes（8-bit 推理），AutoGPTQ（4-bit 推理）），CPU，Mac/AMD GPU（llama.cpp）
Web UI接口：gradio
https://github.com/lissy93/dashy
GitHub
GitHub - Lissy93/dashy: 🚀 A self-hostable personal dashboard built for you. Includes status-checking, widgets, themes, icon packs…
🚀 A self-hostable personal dashboard built for you. Includes status-checking, widgets, themes, icon packs, a UI editor and tons more! - Lissy93/dashy
🏦 融资
1. AI 和加密货币初创公司 Giza 获得 300 万美元融资，并推出自家框架 Cairo 的简易教程
2. 自动化客服公司 AwesomeQA 获得 280 万美元融资，Coinbase Ventures 和 Uniswap Labs Ventures 参投
3. Web3 开发公司法国 Narval 完成 400 万美元的种子融资，BlockTower VC 领投
4. FTX Japan 开始招聘，称将关注 AI 开发领域
5. 日本企业 Cybozu 推出新基金 Kintone Teamwork Fund，聚焦于 Web3 和 AI
6. Lighting Labs 推出基于 AI 的比特币模型，可使用基于大型语言模型的应用进行比特币交易
7. 筑波大学团队推出基于链上数据的 AI 投资组合管理系统 CryptoRLPM
8. Web3 数据智能公司 Web3Go 获得 400 万美元融资，Binance Labs 及 Hashkey Capital参投
9. 基于 ZK-rollup 证明技术的 Web3 隐私公司 Ola 获得 300 万美元融资，Foresight Ventures 参投
💬 洞见
Emerging Architecture for LLM Applications
这篇文章展示了目前开发，维护一个 AI App 需要的基础设施。
文章中主要关注于结合上下文，数据库，使用 LLM 提供更加精准、实时的答案，降低幻觉的发生。
除了问答机器人，另一个 a16z 觉得有前途的方向是 Agents。AI 使用工具和自我反馈、学习来达成一些目标，例如全自动写代码，写报告，改 Bug 等等。在其他大的 AI 企业也看到正在努力钻研 Agents 方向。
State of GPT
GPT 的训练分为四个阶段
- 预训练
- 监督训练
- 奖励训练
- 强化训练
目前大部分模型为与训练后的模型，例如 GPT，LLaMA，PaLM。他们擅长补全文章，但是不擅长指令，和用户问答。这一阶段需要的资源和数据量最大。
在这些基础模型之上，开发者进行监督训练。让这些基础模型具备回应指令的功能，例如 Vicuna-13B。
奖励训练和强化训练可以提升模型输出的质量，到那时训练过程较为复杂，很少有模型经过这两个阶段。
Chain of Thoughts 背后的原理是 LLM 无法区分哪一部分文字需要花更多时间思考。LLM 在每一个生成的文字上所花费的计算资源是一样的。这就导致了面对较难的问题容易出错因为计算时间不够长。让 LLM 多思考的方法就是让它多生成文字。对于指定问题生成更多的文字就代表它思考的越多，花费了更多计算资源。
角色扮演背后的原理是虽然 LLM 可以分辨答案的优劣，但 LLM 并不会下意识的输出最优质的答案。通过专业，高 IQ 等角色预设，LLM 会输出更加优质的答案。
目前有效的 Prompt 技巧是
- Tree works
- Chain of thoughts works
- ReAct works
但是 Auto GPT 并没有被证明有效。将任务分成子任务并不一定是有效的方案。
Vector Database
为何使用向量数据库？
- LLM 中的信息是过时的。如果我们想要注入数据，我们需要向量数据库
- 企业想要与他们的数据进行交流
为什么我们不把所有东西都放在提示里？
- 我们构建一个数据缓存层。它在向量库中存储相关信息和生成的聊天内容。通过不在提示中发送所有内容，我们可以降低成本
为什么我们不微调模型以获取新信息？
- LLM 是统计模型。它需要大量相似的样本来更新信息
如何构建一个文档问答机器人？
- 抓取所有文档并将其存储在向量数据库中。生成样本问题和答案并将它们存储在向量数据库中（有这样的文档，我可以问哪些问题）
何时不使用向量数据库？
- 如果是键值对
- 如果不是语义的
如何保持向量数据库中的数据更新是当前行业的一个问题
频道：@unblock256
https://staging.yinxiang.com/product/miniapp/
印象笔记 清单 扫描宝 食tang
印象笔记 清单 扫描宝 食tang
本文主要介绍了向量数据库的原理和实现，包括向量数据库的基本概念、相似性搜索算法、相似性测量算法、过滤算法和向量数据库的选型等等。
向量数据库是崭新的领域，目前大部分向量数据库公司的估值乘着 AI 和 GPT 的东风从而飞速的增长，但是在实际的业务场景中，向量数据库的应用场景还比较少，抛开浮躁的外衣，向量数据库的应用场景还需要开发者们和业务专家们去挖掘。
