黑洞资源笔记
-
- 百度网盘官方开发的百度网盘 for 群晖版套件已经在群晖 DMS 套件中心上架，用户须单独开通百度网盘群晖 NAS 会员。安装该套件后可以连接用户自己的百度网盘，支持数据双向同步、远程下载等功能。
相较于通过第三方开发者提供的非官方接口，百度网盘官方版套件的稳定性更好，不需要担心黑号问题，即账号遭到某种没有提示的限制。
百度网盘群晖 NAS 会员 159 元 / 年，当前的促销优惠价是 79 元 / 年。
权益包括：极速下载、自动上传 / 下载、双向同步、自定义上传路径、支持 2TB 大文件上传、最多支持 3 个任务并行下载、会员赠送 500 次转存数。
以上所有权益均为百度网盘群晖 NAS 版会员专享，按照说明极速下载等功能也仅限于群晖 NAS 硬件，不支持在其他平台上使用。 - Heynote：专为开发者设计的分块记事本，作为一个大型持久性文本缓冲区，可以用来随意书写任何内容。适用于不希望意外发送的Slack消息、API的JSON响应、会议记录、每日待办事项等等
- Infinity：AI原生数据库，为LLM应用提供了极快的向量和全文搜索能力，具有高性能、灵活性和易用性等特点，能满足下一代AI应用的挑战
- 使用最新的AI工具驱动的视频搜索引擎，利用视频转录和向量搜索技术，让用户能根据问题快速找到相关的视频片段。
该项目使用了Supbase、Hasura、Fly、JigsawStack和Vercel等技术构建，具有高效、可扩展和易用的特点。
AI Video Search Engine (AVSE) | #搜索引擎 -
- 熟练使用命令行是一种常常被忽视，或被认为难以掌握的技能，但实际上，它会提高你作为工程师的灵活性以及生产力。
本文是一份作者在 Linux 上工作时发现的一些命令行使用技巧的摘要。有些技巧非常基础，有的则相当复杂，甚至晦涩难懂。这篇文章并不长，但当你能够熟练掌握这里列出的所有技巧时，你就学会了很多关于命令行的东西了。
这篇文章不仅能帮助刚接触命令行的新手，而且对具有经验的人也大有裨益。本文致力于做到覆盖面广（涉及所有重要的内容），具体（给出具体的最常用的例子），以及简洁（避免冗余的内容，或是可以在其他地方轻松查到的细枝末节）。在特定应用场景下，本文的内容属于基本功或者能帮你节约大量的时间。
本文主要为 Linux 所写，但在仅限 OS X 系统章节和仅限 Windows 系统章节中也包含有对应操作系统的内容。除去这两个章节外，其它的内容大部分均可在其他类 Unix 系统或 OS X，甚至 Cygwin 中得到应用。
本文主要关注于交互式 Bash，但也有很多技巧可以应用于其他 shell 和 Bash 脚本当中。除去“标准的”Unix 命令，还包括了一些依赖于特定软件包的命令（前提是它们具有足够的价值）。
命令行的艺术 | #命令行 - 在 arxiv.org 链接前面加上“talk2”，可直接针对论文内容进行问答（需要自备OpenAI key）| github
Talk2Arxiv 是专为学术论文 PDF 构建的开源 RAG（检索增强生成）系统，由talk2arxiv 服务器提供支持
特征
PDF 解析：利用 GROBID 从 PDF 中高效提取文本。
分块算法：用于最佳文本分块的定制算法。按逻辑部分（简介、摘要、作者等）进行分块，并且还利用递归细分分块（块为 512 个字符，然后是 256 个字符，然后是 128 个字符......）
文本嵌入：使用 Cohere 的 EmbedV3 模型进行准确的文本嵌入。
矢量数据库集成：使用 Pinecone 来存储和查询嵌入。这也可以缓存研究论文，因此论文只需要嵌入一次。
上下文相关性：采用重新排名过程来根据用户输入选择最相关的内容。 -
- 面向Agent的功能强大的搜索引擎，可以在本地运行或通过远程API连接，适用于大型语言模型(LLM)和人类用户，提供超过十亿个来自Creative Commons、Arxiv、维基百科和Project Gutenberg等多样化来源的高质量嵌入。
AgentSearch [ΨΦ] | #搜索引擎 - Texify：将数学公式图片转换为markdown/LaTeX格式，具有OCR功能，可以处理内联和块级数学公式。
-
- PenX：结构化的个人笔记应用，着重于保护隐私，采用端到端加密来同步数据，代码开源可信
- 新手LLM训练详细指南 | #指南
- Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。
- 微调需要收集任务特定的数据集，一般大小在几十MB到几GB。
- 数据预处理非常重要，需要将数据清理成合适的格式，如JSONL。
- 主要的训练超参数包括batch size、epoch数、学习率、梯度累积步数等。
- LoRA是一种减少GPU内存占用的微调方法，QLoRA则通过量化进一步降低了内存需求。
- 学习曲线可以诊断模型的训练情况，判断是否欠拟合、过拟合或拟合良好。
- 模型量化可以降低模型大小，使大模型也能在低显存环境下使用。
- 模型适配器方法可以进行个性化微调而不加载整个模型。
- 模型融合可以组合多个模型的优势得到更优的单模型。
- 合理配置训练超参数以及诊断学习曲线对获得期望的模型至关重要。 -
-
