Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  2. LogicBench通过设计包含25种推理模式的问答数据集，系统地评估了大型语言模型在命题逻辑、一阶逻辑和非单调逻辑方面的逻辑推理能力，发现现有模型在处理复杂推理和否定时存在明显缺陷，为未来的研究提供了有价值的洞见。| paper

  6. 基于大模型的智能对话客服工具，支持微信、千牛、哔哩哔哩、抖音企业号、抖音、抖店、微博聊天、小红书专业号运营、小红书、知乎等平台接入，可选择 GPT3.5/GPT4.0/ 懒人百宝箱 （后续会支持更多平台），能处理文本、语音和图片，通过插件访问操作系统和互联网等外部资源，支持基于自有知识库定制企业 AI 应用

    懒人客服 | #工具

  14. CoreNet: Apple的深度网络训练库，用于训练深度神经网络，支持各种任务，包括基础模型(如 CLIP 和 LLM)、目标分类、目标检测和语义分割

  15. 微信发布一款桌面工作效率的AI工具：小微助手，可搜索电脑中所有内容。| #工具

    通过你对该工具的授权，它可以使用自然语言搜索你电脑里指定文件夹的所有内容，同时还支持在线聊天问答，类似ChatGPT。

    还有一个圈子功能允许组织成员共同分享和使用各种数据和服务，还能接入OpenAI等模型。

    同时还内置多种应用，如剪贴板收藏、微信翻译、闪念胶囊工具。

  16. Adobe 正式宣布推出新的图像生成模型 Firefly Image 3，即日起在 Firefly Web 应用程序、Adobe Photoshop 和 Adobe InDesign 中提供测试版，并在「今年晚些时候」全面上市，旨在让创作者能够提高工作效率，生成更高质量、更详细的图像。 | 详文

  18. 用 ORPO 将 Llama 3 的性能提升到新高度 | 详文

    ORPO(Odds Ratio Preference Optimization)是一种新的微调技术，可以将传统的监督微调和偏好对齐阶段合并为一个过程，从而减少计算资源和训练时间。

    ORPO通过修改语言建模目标，将负对数似然损失与比值(OR)项相结合，以弱化被拒绝的响应并强化被选择的响应，让模型同时学习目标任务和人类偏好。

    文章使用TRL库中的ORPOTrainer在Llama 3 8B模型上进行ORPO微调，数据集包含DPO偏好对，共1000个样本。尽管由于样本量少仅训练了1个epoch，但微调后的模型在Nous的基准测试中表现良好，所有指标上均优于Llama 3原模型。

    ORPO展现了作为新的微调范式的潜力，未来在更大规模的偏好数据集上进行充分训练将产生更好的效果。选择高质量的数据集也非常重要。

    当前是开源社区的活跃时期，正在发布越来越多高质量的开源模型，开源模型与专有模型的差距正在缩小，微调是获得最佳性能的关键。