技术,生活,随看 \随转
Mac视频播放器,自动刮削视频文件信息,获取整理电影剧集封面和详细信息,打造私人影视库。支持本地文件,Samba(SMB)/WebDav文件,百度网盘/One Drive/Dropbox/Google Drive
安装:https://zh.okaapps.com/product/1659622164
投稿:@ZaiHuaBot
频道:@TestFlightCN
Llama2-webui:允许用户在任何地方(Linux/Windows/Mac)通过 gradio web UI 在 GPU 或 CPU 上运行 Llama 2。
它支持 Llama-2-7B/13B/70B,并且可以使用 8-bit 或 4-bit 模式。它支持至少有 6 GB VRAM 的 GPU 推理,以及至少有 6 GB RAM 的 CPU 推理。
支持多种模型:Llama-2-7b/13b/70b,所有的Llama-2-GPTQ,所有的Llama-2-GGML等
支持多种模型后端:Nvidia GPU(transformers,bitsandbytes(8-bit 推理),AutoGPTQ(4-bit 推理)),CPU,Mac/AMD GPU(llama.cpp)
Web UI接口:gradio
它支持 Llama-2-7B/13B/70B,并且可以使用 8-bit 或 4-bit 模式。它支持至少有 6 GB VRAM 的 GPU 推理,以及至少有 6 GB RAM 的 CPU 推理。
支持多种模型:Llama-2-7b/13b/70b,所有的Llama-2-GPTQ,所有的Llama-2-GGML等
支持多种模型后端:Nvidia GPU(transformers,bitsandbytes(8-bit 推理),AutoGPTQ(4-bit 推理)),CPU,Mac/AMD GPU(llama.cpp)
Web UI接口:gradio
🏦 融资
1. AI 和加密货币初创公司 Giza 获得 300 万美元融资,并推出自家框架 Cairo 的简易教程
2. 自动化客服公司 AwesomeQA 获得 280 万美元融资,Coinbase Ventures 和 Uniswap Labs Ventures 参投
3. Web3 开发公司法国 Narval 完成 400 万美元的种子融资,BlockTower VC 领投
4. FTX Japan 开始招聘,称将关注 AI 开发领域
5. 日本企业 Cybozu 推出新基金 Kintone Teamwork Fund,聚焦于 Web3 和 AI
6. Lighting Labs 推出基于 AI 的比特币模型,可使用基于大型语言模型的应用进行比特币交易
7. 筑波大学团队推出基于链上数据的 AI 投资组合管理系统 CryptoRLPM
8. Web3 数据智能公司 Web3Go 获得 400 万美元融资,Binance Labs 及 Hashkey Capital参投
9. 基于 ZK-rollup 证明技术的 Web3 隐私公司 Ola 获得 300 万美元融资,Foresight Ventures 参投
💬 洞见
Emerging Architecture for LLM Applications
这篇文章展示了目前开发,维护一个 AI App 需要的基础设施。
文章中主要关注于结合上下文,数据库,使用 LLM 提供更加精准、实时的答案,降低幻觉的发生。
除了问答机器人,另一个 a16z 觉得有前途的方向是 Agents。AI 使用工具和自我反馈、学习来达成一些目标,例如全自动写代码,写报告,改 Bug 等等。在其他大的 AI 企业也看到正在努力钻研 Agents 方向。
State of GPT
GPT 的训练分为四个阶段
- 预训练
- 监督训练
- 奖励训练
- 强化训练
目前大部分模型为与训练后的模型,例如 GPT,LLaMA,PaLM。他们擅长补全文章,但是不擅长指令,和用户问答。这一阶段需要的资源和数据量最大。
在这些基础模型之上,开发者进行监督训练。让这些基础模型具备回应指令的功能,例如 Vicuna-13B。
奖励训练和强化训练可以提升模型输出的质量,到那时训练过程较为复杂,很少有模型经过这两个阶段。
Chain of Thoughts 背后的原理是 LLM 无法区分哪一部分文字需要花更多时间思考。LLM 在每一个生成的文字上所花费的计算资源是一样的。这就导致了面对较难的问题容易出错因为计算时间不够长。让 LLM 多思考的方法就是让它多生成文字。对于指定问题生成更多的文字就代表它思考的越多,花费了更多计算资源。
角色扮演背后的原理是虽然 LLM 可以分辨答案的优劣,但 LLM 并不会下意识的输出最优质的答案。通过专业,高 IQ 等角色预设,LLM 会输出更加优质的答案。
目前有效的 Prompt 技巧是
- Tree works
- Chain of thoughts works
- ReAct works
但是 Auto GPT 并没有被证明有效。将任务分成子任务并不一定是有效的方案。
Vector Database
为何使用向量数据库?
- LLM 中的信息是过时的。如果我们想要注入数据,我们需要向量数据库
- 企业想要与他们的数据进行交流
为什么我们不把所有东西都放在提示里?
- 我们构建一个数据缓存层。它在向量库中存储相关信息和生成的聊天内容。通过不在提示中发送所有内容,我们可以降低成本
为什么我们不微调模型以获取新信息?
- LLM 是统计模型。它需要大量相似的样本来更新信息
如何构建一个文档问答机器人?
- 抓取所有文档并将其存储在向量数据库中。生成样本问题和答案并将它们存储在向量数据库中(有这样的文档,我可以问哪些问题)
何时不使用向量数据库?
- 如果是键值对
- 如果不是语义的
如何保持向量数据库中的数据更新是当前行业的一个问题
频道:@unblock256
https://staging.yinxiang.com/product/miniapp/
印象笔记 清单 扫描宝 食tang
印象笔记 清单 扫描宝 食tang