Skip to main content

黑洞资源笔记

  1. contrastors是一个对比学习工具包,使研究人员和工程师能够有效地训练和评估对比模型。

    特征:
    建立在Flash Attention之上,可实现快速高效的训练
    支持在多个 GPU 上进行训练
    GradCache支持在受限内存环境中进行大批量训练
    Huggingface 支持轻松加载常见模型(Pythia/GPTNeoX、BERT 等)
    掩码语言建模 (MLM) 预训练
  2. IntelliScraper是一个先进的 Python 网页抓取项目,旨在进行精确的 HTML 内容解析和特征匹配,以从特定网页中提取关键信息。利用 BeautifulSoup 和 scikit-learn 等强大的库,它提供了一种高效灵活的方式来抓取和处理 Web 数据。

    用法
    数据提取与分析:从各种网页中提取必要的数据,支持数据分析和市场研究。
    内容监控:监控经常更新的网站内容的变化,例如新闻、价格更新等。
    自动化测试:对于 Web 开发人员自动测试 Web 内容和布局很有用。

    特点和优点
    高定制性:定义数据列表(wanted_list)以进行有针对性的数据提取。
    智能匹配:利用余弦相似度算法进行智能网页元素匹配,提高准确性。
    用户友好:尽管潜在的复杂性,但易于使用。只需提供 URL、所需数据和规则路径即可开始抓取。
    灵活性:支持直接通过URL获取HTML或使用现有的HTML内容,适应不同的场景。
    可扩展性:核心功能在类中实现,易于继承和扩展以满足特定需求。
  3. WhisperKit:一个Swift开发包,它将OpenAI流行的Whisper语音识别模型与Apple的CoreML框架集成在一起,可在 Apple 设备上进行高效的本地推理,可通过Swift软件包管理器集成到 Swift 项目中。
  4. 一个通用的、自动的图像增强和超分辨率框架,可以应用于各种场景和质量的图像。通过我们提供的演示,用户只需上传一张低质量的图片,即可一键生成增强的图片。无需选择SR型号或调整参数。

    DreaMoving-Phantom | #框架
  5. AI-视频裁剪器是一个功能强大的工具,旨在通过对视频进行智能分析,提取最吸引人的片段并裁剪它们来帮助内容创作者、播客爱好者和视频爱好者轻松地从视频中提取引人入胜的部分。

    该工具利用先进的语言模型 GPT-4,能够智能地分析视频文字记录,识别最受欢迎和最激动人心的时刻,与各种视频格式无缝协作,实现最大兼容性。

    AI-Shorts-Creator | #工具
  6. 史料RAG:用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用,这个应用接受用户的询问,从历史语料库中检索相关的历史资料片段,利用大语言模型给出较为可靠的回答。

    相比于直接询问大模型,这种方式具有回答准确率高,不容易产生大模型的“幻觉”问题等优点。

    本项目实现了两种使用方式:

    “Milvus方案“在本地启动一个Milvus向量数据库的Docker服务,使用LlamaIndex框架和本地BAAI/bge-base-zh-v1.5Embedding模型实现RAG的业务逻辑。

    “Zilliz Cloud Pipelines方案”使用云上的知识库检索服务Zilliz Cloud Pipelines,该服务包括了RAG流程的文档切片、向量化、向量检索等功能。

    两种方案均使用OpenAI的GPT4作为大语言模型。
    demo.gif
    20.4 MB
  7. 基于 OpenAI 的聊天开源框架,旨在实现用户可同时获得多个大模型的并行输出。

    其特点在于支持单模型串行回答和多模型并行回答两种模式,可同时给一个或多个大语言模型发送提示并获得返回。

    目前,OpenAOE 支持与多个商业大模型和开源大模型的 API 对接,包括 gpt3.5、gpt4、Google Palm、Minimax、Claude、Spark 等。OpenAOE 提供了后端 API 和 WEB 端两种方式,满足不同用户的需求。

    OpenAOE | #框架
  8. 华硕推出 RTX 4080 SUPER 猫头鹰联名版

    华硕近日联合猫头鹰共同基于 RTX 4080 SUPER 打造了一款联名版显卡。

    这张显卡安装了两张采用猫头鹰经典配色的 Noctua NF-A12x25 PWM 风扇,整体的厚度拓展到 4 槽。因猫扇为显卡带来了充足的散热性能,显卡出场即提供了最高 2640 MHz 的超频模式。

    目前产品处于发售前的预热演示阶段,暂未公布其具体售价。