黑洞资源笔记
- MiniSearch:极简网络搜索应用,具有始终可用的 AI 助手,可直接在浏览器中运行,使用 Web-LLM、Transformers.js 和 SearXNG构建
-
- contrastors是一个对比学习工具包,使研究人员和工程师能够有效地训练和评估对比模型。
特征:
建立在Flash Attention之上,可实现快速高效的训练
支持在多个 GPU 上进行训练
GradCache支持在受限内存环境中进行大批量训练
Huggingface 支持轻松加载常见模型(Pythia/GPTNeoX、BERT 等)
掩码语言建模 (MLM) 预训练 - Lockbox:正向代理服务器(forward proxy),用于执行第三方API调用
- IntelliScraper是一个先进的 Python 网页抓取项目,旨在进行精确的 HTML 内容解析和特征匹配,以从特定网页中提取关键信息。利用 BeautifulSoup 和 scikit-learn 等强大的库,它提供了一种高效灵活的方式来抓取和处理 Web 数据。
用法
数据提取与分析:从各种网页中提取必要的数据,支持数据分析和市场研究。
内容监控:监控经常更新的网站内容的变化,例如新闻、价格更新等。
自动化测试:对于 Web 开发人员自动测试 Web 内容和布局很有用。
特点和优点
高定制性:定义数据列表(wanted_list)以进行有针对性的数据提取。
智能匹配:利用余弦相似度算法进行智能网页元素匹配,提高准确性。
用户友好:尽管潜在的复杂性,但易于使用。只需提供 URL、所需数据和规则路径即可开始抓取。
灵活性:支持直接通过URL获取HTML或使用现有的HTML内容,适应不同的场景。
可扩展性:核心功能在类中实现,易于继承和扩展以满足特定需求。 -
- Code Llama 70B在线体验,Code Llama 70B由Meta推出的最新AI编程模型,标志着AI辅助代码生成领域的重大升级,用于处理更复杂的编程任务,具有更高的准确性和效率
- WhisperKit:一个Swift开发包,它将OpenAI流行的Whisper语音识别模型与Apple的CoreML框架集成在一起,可在 Apple 设备上进行高效的本地推理,可通过Swift软件包管理器集成到 Swift 项目中。
-
- gpu-alpha:高质量的GPU编程/架构资源
- AI-视频裁剪器是一个功能强大的工具,旨在通过对视频进行智能分析,提取最吸引人的片段并裁剪它们来帮助内容创作者、播客爱好者和视频爱好者轻松地从视频中提取引人入胜的部分。
该工具利用先进的语言模型 GPT-4,能够智能地分析视频文字记录,识别最受欢迎和最激动人心的时刻,与各种视频格式无缝协作,实现最大兼容性。
AI-Shorts-Creator | #工具 - 史料RAG:用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用,这个应用接受用户的询问,从历史语料库中检索相关的历史资料片段,利用大语言模型给出较为可靠的回答。
相比于直接询问大模型,这种方式具有回答准确率高,不容易产生大模型的“幻觉”问题等优点。
本项目实现了两种使用方式:
“Milvus方案“在本地启动一个Milvus向量数据库的Docker服务,使用LlamaIndex框架和本地BAAI/bge-base-zh-v1.5Embedding模型实现RAG的业务逻辑。
“Zilliz Cloud Pipelines方案”使用云上的知识库检索服务Zilliz Cloud Pipelines,该服务包括了RAG流程的文档切片、向量化、向量检索等功能。
两种方案均使用OpenAI的GPT4作为大语言模型。 -
-
- 华硕推出 RTX 4080 SUPER 猫头鹰联名版
华硕近日联合猫头鹰共同基于 RTX 4080 SUPER 打造了一款联名版显卡。
这张显卡安装了两张采用猫头鹰经典配色的 Noctua NF-A12x25 PWM 风扇,整体的厚度拓展到 4 槽。因猫扇为显卡带来了充足的散热性能,显卡出场即提供了最高 2640 MHz 的超频模式。
目前产品处于发售前的预热演示阶段,暂未公布其具体售价。 -