黑洞资源笔记
-
- 一个开源的文档内容高效检索 AI 工具：Semantra，与传统的文本匹配方式不同，它能够直接使用语义查询，提升检索效率。可选择多种语言模型，支持在本地离线部署运行，注重隐私安全。
使用命令行即可快速处理本地的文本和 PDF 文件。在任务完成后，它会在本地搭建一个 Web 搜索页面，让你能在界面上对直接查询文档。
Semantra 的设计目的是方便易用，可定制。适合需要在大量文档中进行精确搜索的个人或团体，例如新闻从业者、研究员、学生或教师等。主要作用是对存储在本地计算机上的文档（文本或 PDF 文件）进行操作，你可以选择处理单个或多个文档。
该项目对文档的处理有两种方式：「内嵌模型」和调用「OpenAI API」。默认是用的 MPNet 语言模型。
如果你电脑配置还过得去，或者想离线处理文档，可以优先选择下载大语言模型，这种方式可以最大程度保证你的隐私安全。
如果想用 OpenAI API，项目也提供了相对应的方案，不过所产生的 Token 消耗，你需要自行承担。
针对这两种方案，作者都在 GitHub 中给出了详细文档。
Semantra | #工具 - 一篇名为《Scaling Transformer to 1M tokens and beyond with RMT》（Paper）最近在技术圈引发热议。有推友用chatgpt给这篇论文做了一个通俗易懂的总结。| 地址
该论文提出一种名为 RMT 的新技术，或许可将 Transform 的 Token 上限扩展至 100 万，甚至更多。
而目前最强的 GPT-4-32k，其 Token 上限也才 3.2 万，这就导致了它并不能很好的处理长文内容。像文档、书籍、代码这种大块内容，往往需要先对内容进行切割，分多次喂给 GPT，但 GPT 本身能理解的上下文内容有限，这就很容易导致结果偏离预期。
如果未来 Token 的上限能够不断突破，将会创造出更多 AI 应用场景。包括之前所畅想的，训练一个无限接近自己人格的 AI 聊天机器人。 - 阿里云官宣，旗下产品将实施史上最大规模降价，其中核心产品的价格下调了 15％ 至 50％，存储产品最高的降幅达到了 50%。比同行低 了10%-20%。
在此次降价中，弹性计算第 7 代实例和倚天实例的价格下调了 15-20%，最新的存储 OSS 深度冷归档的价格甚至比冷归档降低了 50%。
网络负载均衡 SLB 和 NAT 网关的价格都下调了 15%，而数据库 RDS 倚天版的价格最高下调了 40%。 - 租用美国私人地址AnytimeMailbox，在线管理邮件。在 1,948 个地点提供服务。价格最低每月 5.99 美元。Media is too bigVIEW IN TELEGRAM
- 有人把中国法律法规的数据喂给 ChatGPT，做了一个「中国法律AI助手」
-
- 桌面端AI语言练习应用，基于ChatGPT和Azure人工智能语言模型作为底层服务，目的是提供一个易于使用的语言练习平台，方便进行多语种的口语练习
功能：
多国语言口语练习，内置了英语，其他语言现在支持自定义
智能语音合成（基于Azure TTS服务）
智能对话功能（基于chatGPT服务）
支持暗黑模式
接入文字翻译功能
支持用户自定义语种和AI人物
支持用户配置自定义对话场景
支持Azure openai api服务
用户自定义配置Azure key
使用方法
设置OpenAI Key
设置代理（非必须）
选择喜欢的AI人物进行对话；
与AI人物进行对话练习口语。
下载：Mac Win | PolyglotMedia is too bigVIEW IN TELEGRAM -
- 复旦大学发布了一个引发轰动的大语言模型：MOSS
这是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 -
- Whisper JAX：这是一个对OpenAI开源的Whisper模型网页链接 的优化版本，它针对GPU和TPU做了优化，性能提升了70倍，最快1小时的音频15秒能完成转录！
提速的关键：
1. 批量处理
Transformers 实现了一种批处理算法，其中单个音频样本被分成 30 秒的片段，然后分批转录这些块。这种批处理算法比 OpenAI（按顺序转录块）提供高达 7 倍的增益
2. JAX优于PyTorch
JAX 是一个用于高性能机器学习研究的自动微分库，通过即时 (JIT) 编译 Whisper，比PyTorch在 GPU 上获得了 2 倍的速度提升
3. TPUs 优于 GPUs
张量处理单元 (TPU) 是由 Google 设计的 ML 加速器， TPU 专为矩阵乘法而构建，与更通用的 GPU 相比具有显着优势。在 TPU v4-8 上运行 Whisper JAX 比在 NVIDIA A100 上快 5 倍！
全部加在一起：批处理 7 倍 JAX 2 倍 TPU 5 倍速度增益 => 整体速度提升 70 倍
paper | demo | repo - Proton 推出密码管理器
知名加密邮件服务商 Proton Mail 在近日正式推出了名为 Proton Pass 的密码管理工具。
Proton Pass 由 SimpleLogin 与 Proton 团队合作共同开发，旨在提高密码管理服务商业的安全标准的同时为用户带来更安全、更私密也更易于使用的密码管理方案。
目前 Proton Pass 尚处于测试阶段，并将于下周邀请购买 Proton Mail 长期许可的用户体验。 - Meta最新的开源项目DINOv2：具有自我监督学习功能的最先进的计算机视觉模型
这款全新的自监督视觉Transformer模型可以作为几乎所有计算机视觉任务的主干模型。无需微调。
• 无需大量标注数据，即可训练计算机视觉模型。
• 多功能主干：图像分类、分割、图像检索和深度估计。
• 直接从图像中学习特征，而无需依赖文本描述，这有助于更好地理解局部信息。
• 可以从任何图像集合中学习。
• DINOv2 的预训练版本已经上线，并在众多任务中与 CLIP 和 OpenCLIP 竞争。
Meta继SAM（Segment Anything） 网页链接 之后又一计算机视觉领域的重量级开源项目。
demo | 主页 | 源码 | Paper - LLaV：一个拥有类似 GPT-4 的大语言+视觉模型
“使用机器生成的指令跟踪数据对大型语言模型 (LLM) 进行指令调优提高了新任务的零样本能力，但这一想法在多模式领域的探索较少。
所以，我们开始尝试使用纯语言 GPT-4 生成多模态语言图像指令跟踪数据。通过对此类生成的数据进行指令调整，并推出了 LLaVA：大型语言和视觉助手。
这是一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。
早期实验表明，LLaVA 展示了令人印象深刻的多模型聊天能力，有时在看不见的图像 / 指令上表现出多模态 GPT-4 的行为，并且与合成多模态指令跟随数据集上的 GPT-4 相比，相对分数达到了 85.1%。
当在 Science QA 上进行微调时，LLaVA 和 GPT-4 的协同作用达到了 92.53%，这个准确率颇高。
因此，我们在 GitHub 正式开放 GPT-4 生成的视觉指令调整数据、模型和代码库。”
demo | Project Page | Paper | 数据集 | 模型 | repo - 15 英寸 MacBook Air 将搭载 M2 芯片
上周，一款尚未发布的 15 英寸 MacBook Air 在 App Store 开发者日志中被发现，其处理器性能与 M2 芯片相当。这款 MacBook Air 配置了 8 核心 CPU 和 10 核心 GPU，与 M2 芯片相同，还有 8GB 内存。
韩国 Naver 博客一用户「yeux1122」透露，这款 MacBook Air 将搭载 M2 芯片，而非苹果原计划的 M3 芯片，让这传言显得更真了。
早前一份韩国的新闻报道称，今年初由于全球对 MacBook 需求明显下滑，苹果曾暂停 M2 芯片的生产长达两个月时间，即便后来 M2 芯片恢复了生产，但产量仅为去年的一半水平。
目前尚不清楚 15 英寸 MacBook Air 的具体发布时间，但可能会在 6 月 5 日开始的 WWDC 上公布。
