Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. Learn Git Branching：一个在线学习git的教学网站

    在沙盒里你能执行相应的命令，还能看到每个命令的执行情况； 通过一系列刺激的关卡挑战，逐步深入的学习 Git 的强大功能。

  2. 自动化分布式深度学习系统，在分布式集群上自动化训练深度学习模型

    DLRover 自动在分布式集群上训练深度学习模型。它可以帮助模型开发人员专注于模型架构，而无需关心任何工程方面的事情，比如硬件加速、分布式运行等。现在，它为 K8s/Ray 上的深度学习训练作业提供自动化运维。主要特点为

    Automatic Resource Optimization自动优化作业资源，提高训练性能和资源利用率。
    动态数据分片，动态分配训练数据给每个worker而不是平分，更快的worker更多数据。
    容错，单节点故障转移，无需重新启动整个作业。
    自动缩放，在节点级别和 CPU/内存级别自动扩展/缩减资源。

    dlrover |#机器学习

  3. 使用Python 101自动化电子表格 | 详文 | #Python

    这是一个在你编辑时为你编写 Python 代码的电子表格，这篇博文是为那些以前从未使用过 Python 但对如何开始使用它来自动化他们的数据工作以及每周节省他们通常更新电子表格的时间感到好奇的人而写的。

  4. 斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）。

    只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！

    作者：博文 | Twitter

  5. 大语言模型集成工具LangChain有TypeScript的版本，这就意味这你不需要依赖Python也可以实现诸如Embeddings、文本分割等功能 | 详文

  6. 一款可利用 ChatGPT 总结 arxiv 论文的开源工具。

    该项目可根据用户关键词下载 arxiv 上的最新论文，利用 ChatGPT3.5 API 强大的归纳能力，将其浓缩成固定格式，文字少且易读。

    作者为 ChatPaper 提供了一个 Web 图形界面，让用户可以选择在私有或公共环境中部设置 ChatPaper，或在 Hugging Face 上在线体验该项目功能。

    ChatPaper | #论文 #工具

  7. 超快的C++单头文件测试框架

    这是一款轻量级、快速的 C++ 测试框架，它使用起来十分方便，引入头文件即可使用，而且速度快、编译时间短，支持 C++ 11/14/17/20。

    它与其他测试框架的主要区别在于它轻巧且非侵入式：

    1.在包含标头和编写数千个断言方面，编译时间超轻
    2.即使在MSVC / GCC / Clang最激进的警告级别上也不会产生任何警告
    3.可以使用标识符从二进制文件中删除所有与测试相关的内容DOCTEST_CONFIG_DISABLE
    4.线程安全- 断言可以从单个测试用例产生的多个线程使用 -示例
    5.断言可以在测试上下文之外使用——作为通用断言库——示例
    6.没有全局命名空间污染（一切都在doctest::）并且不会拖拽任何标题
    7.可移植的C++11（C++98 使用标签1.2.9）有 100 多种不同的 CI 构建（静态分析、消毒剂……）
    8.二进制文件 (exe/dll) 可以使用另一个二进制文件的测试运行程序 => 在单个注册表中进行测试 -示例

    Doctest | #框架 #c++

  8. 一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

    ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

    ChatGLM-6B | blog

  12. 给 Twitter Space 音频做【摘要+时间戳】的黑科技方法 | 详文

    作者这个方法虽然是针对Twitter Space的，其实对于音频生成摘要的需求都可以参考。简单来说就是先下载mp3，然后用Lark妙计将mp3转文字，最后用 Notion AI （ChatGPT也可以）基于文字生成摘要。
    Twitter Thread Reader & Converter
    Youtube 视频和 Podcast 的摘要工具都有了，再 share 一个我自己 给 Twitter Space 做【摘要+时间戳】的黑科技方法 by @starzqeth(starzq.eth⛩️) | Twitter Thread Reader
    Youtube 视频和 Podcast 的摘要工具都有了，再 share 一个我自己 给 Twitter Space 做【摘要+时间戳】的黑科技方法 by @starzqeth(starzq.eth⛩️) | Twitter Thread Reader
    Youtube 视频和 Podcast 的摘要工具都有了，再 share 一个我自己 给 Twitter Space 做【摘要+时间戳】的黑科技方法

    这样所有的音视频内容都可以先通过摘要了解重点信息，再判断是否要深入了解，最后通过时间戳直接定位到具体内容，效率 x10

    具体方法，需要用到 3 个工具👇

    1/8 https://t.co/1udnui3GZf

  15. 被 Meta 起诉，Freenom 停止域名注册 | 原文

    域名注册商Freenom的免费域名长期以来一直吸引垃圾邮件发送者和网络钓鱼者，现已停止允许新域名注册。此举是在这家荷兰注册商被Meta起诉之后发生的，Meta 指控该公司无视关于网络钓鱼网站的滥用投诉，同时将这些滥用域的流量货币化。

    2023 年 3 月 3 日，社交媒体巨头 Meta 在北加州法院起诉 Freenom，指控其存在域名抢注和商标侵权行为。该诉讼还寻求有关 20 个不同“John Does”的身份的信息——Meta 表示，Freenom 客户在针对Facebook、Instagram和WhatsApp用户的网络钓鱼攻击中特别活跃。

    该诉讼指向2021 年由Interisle Consulting Group进行的一项关于域名滥用的研究 (PDF) ，该研究发现由 Freenom 运营的 ccTLD 占网络钓鱼者滥用最多的十大 TLD 中的五个。

    “Freenom 为其提供服务的五个 ccTLD 是网络犯罪分子选择的 TLD，因为 Freenom 提供免费域名注册服务并保护其客户的身份，即使在出示域名被用于非法目的的证据之后，”投诉费用。“即使在收到客户的侵权或网络钓鱼通知后，Freenom 仍继续向这些客户许可新的侵权域名。”

    Meta 进一步声称，“Freenom 一再未能采取适当的措施来调查和适当回应滥用报告”，并且它通过转售侵权域名和添加“停放页面”将访问者重定向到其他商业网站，从而从中获利。 、包含色情内容的网站以及用于网络钓鱼等恶意活动的网站。

    Freenom 尚未回应置评请求。但在发布时尝试通过公司网站注册域会生成一条错误消息，内容如下：

    “由于技术问题，Freenom 的新注册申请暂时出现故障。对于给您带来的不便，请接受我们的歉意。我们正在研究解决方案，希望尽快恢复运营。谢谢你的理解。”