Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  3. 《开源大模型食用指南》基于Linux环境快速部署开源大模型 | #指南

    本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。

    本项目的主要内容包括：
    🌟基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；
    🌟针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等；
    🌟开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等；
    🌟开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。

  4. 微博热搜：教育部阳光高考平台首次推出“阳光志愿”信息服务系统，今天正式上线！

    平台集成海量数据，详尽的专业库、院校库、就业前景等，免费向千万考生开放使用。同时提供有针对性的专业、职业心理测评，帮助考生更好了解自己的专业和职业倾向。

  5. Bungee-音频处理库：实时音频伸缩与音高变换的C++库，支持无影响音高的音频播放速度调整和不影响播放速度的音高调整，以及音高与播放位置的任意组合操作

  9. Toxoid Engine：跨平台、模块化、数据驱动的游戏引擎，支持C Sharp、JavaScript和Rust语言脚本，具备热加载、WebGPU渲染和Web目标支持，适用于UGC游戏和多人在线沙盒RPG开发

  11. Stable Diffusion 3 Medium：Stability AI最新推出的高级文本到图像AI模型，适合在消费级PC、笔记本及企业级GPU上运行，有望成为文本到图像模型的新标准

    - Stability AI公开发布了Stable Diffusion 3 Medium图像生成模型，这是目前该公司最先进的开源文本到图像模型。
    - Stable Diffusion 3 Medium是一个20亿参数量的模型，相比之前的模型有显著改进：整体图像质量和逼真度大幅提升，能够生成高质量的照片逼真图像；理解长难句子描述的能力增强；文字质量也有很大提升，减少拼写、字间距等错误。
    - 该模型大小适中，非常适合在普通消费级PC和笔记本电脑上运行，也能在企业级GPU上充分发挥性能。它有望成为文本到图像模型的新标准。
    - Stable Diffusion 3 Medium在Stability非商业研究社区许可证下对外开源。对于商业用途，鼓励使用新的Creator许可证。大规模商业使用还需联系Stability取得企业许可证。
    - 用户可以通过Stability的API、Stable Assistant和Stable Artisan等渠道试用Stable Diffusion 3 Medium。
    - Stability AI表示会根据用户反馈持续改进该模型，扩展其功能，提升性能。目标是为艺术创作和业余用户都设定一个新的标准。
    - Stability AI坚持开放和负责任的AI实践，在模型的训练、测试、部署等各个阶段采取合理措施防止模型被恶意滥用。

  12. AI系统红队测试方法：提升AI系统安全性与可靠性的关键工具，通过对抗性测试技术识别潜在漏洞，为AI开发者、政策制定者和组织提供了多样化的红队测试方法和实践案例，以促进AI测试生态系统的健康发展

    - 红队测试是评估AI系统安全性和可靠性的重要工具，通过对技术系统进行对抗性测试来识别潜在漏洞。
    - AI领域目前红队测试方法不统一，使得很难客观比较不同AI系统的相对安全性。需要建立系统性红队测试的共识和标准。
    - 文章介绍了多种红队测试方法，每种都有自己的优势和挑战，可以整合到从定性到定量的迭代测试流程中。
    - 域专家红队可以利用专业知识识别复杂的上下文相关风险。可扩展到不同语言和文化背景的测试。
    - 使用语言模型自动生成对抗样本可以提高测试效率。可以建立红队蓝队框架，迭代提升系统鲁棒性。
    - 多模态红队测试可以识别新模态带来的风险。公开的社区红队测试可以汇集更广泛的观点。
    - 红队结果可以转化为定量评估指标，并围绕其不断改进系统。需要政策支持红队测试的标准化和采纳。
    - 红队测试是确保AI系统安全的重要手段之一。需要多个利益相关方参与，建立行业共识，推动AI的负责任发展。

  13. 专为智能手机设计的高性能大型语言模型推理框架，支持高达47B参数的MoE模型，速度高达每秒11.68个token，比现有框架快22倍。即使在7B模型上，通过在手机上放置50%的FFN权重，也能保持领先速度

    PowerInfer-2 | #框架