Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  2. SQL Translator：一个可以将人类自然语言转换为 SQL 语言的开源工具，反之亦然，用起来很方便。

    通过 AI 赋能，让它可以很轻松的完成自然语言与 SQL 语言的切换，进一步提升数据处理效率。

  3. Learn Git Branching：一个在线学习git的教学网站

    在沙盒里你能执行相应的命令，还能看到每个命令的执行情况； 通过一系列刺激的关卡挑战，逐步深入的学习 Git 的强大功能。

  4. 自动化分布式深度学习系统，在分布式集群上自动化训练深度学习模型

    DLRover 自动在分布式集群上训练深度学习模型。它可以帮助模型开发人员专注于模型架构，而无需关心任何工程方面的事情，比如硬件加速、分布式运行等。现在，它为 K8s/Ray 上的深度学习训练作业提供自动化运维。主要特点为

    Automatic Resource Optimization自动优化作业资源，提高训练性能和资源利用率。
    动态数据分片，动态分配训练数据给每个worker而不是平分，更快的worker更多数据。
    容错，单节点故障转移，无需重新启动整个作业。
    自动缩放，在节点级别和 CPU/内存级别自动扩展/缩减资源。

    dlrover |#机器学习

  5. 使用Python 101自动化电子表格 | 详文 | #Python

    这是一个在你编辑时为你编写 Python 代码的电子表格，这篇博文是为那些以前从未使用过 Python 但对如何开始使用它来自动化他们的数据工作以及每周节省他们通常更新电子表格的时间感到好奇的人而写的。

  6. 斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）。

    只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！

    作者：博文 | Twitter

  7. 大语言模型集成工具LangChain有TypeScript的版本，这就意味这你不需要依赖Python也可以实现诸如Embeddings、文本分割等功能 | 详文

  8. 一款可利用 ChatGPT 总结 arxiv 论文的开源工具。

    该项目可根据用户关键词下载 arxiv 上的最新论文，利用 ChatGPT3.5 API 强大的归纳能力，将其浓缩成固定格式，文字少且易读。

    作者为 ChatPaper 提供了一个 Web 图形界面，让用户可以选择在私有或公共环境中部设置 ChatPaper，或在 Hugging Face 上在线体验该项目功能。

    ChatPaper | #论文 #工具

  9. 超快的C++单头文件测试框架

    这是一款轻量级、快速的 C++ 测试框架，它使用起来十分方便，引入头文件即可使用，而且速度快、编译时间短，支持 C++ 11/14/17/20。

    它与其他测试框架的主要区别在于它轻巧且非侵入式：

    1.在包含标头和编写数千个断言方面，编译时间超轻
    2.即使在MSVC / GCC / Clang最激进的警告级别上也不会产生任何警告
    3.可以使用标识符从二进制文件中删除所有与测试相关的内容DOCTEST_CONFIG_DISABLE
    4.线程安全- 断言可以从单个测试用例产生的多个线程使用 -示例
    5.断言可以在测试上下文之外使用——作为通用断言库——示例
    6.没有全局命名空间污染（一切都在doctest::）并且不会拖拽任何标题
    7.可移植的C++11（C++98 使用标签1.2.9）有 100 多种不同的 CI 构建（静态分析、消毒剂……）
    8.二进制文件 (exe/dll) 可以使用另一个二进制文件的测试运行程序 => 在单个注册表中进行测试 -示例

    Doctest | #框架 #c++

  10. 一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

    ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

    ChatGLM-6B | blog

  14. 给 Twitter Space 音频做【摘要+时间戳】的黑科技方法 | 详文

    作者这个方法虽然是针对Twitter Space的，其实对于音频生成摘要的需求都可以参考。简单来说就是先下载mp3，然后用Lark妙计将mp3转文字，最后用 Notion AI （ChatGPT也可以）基于文字生成摘要。
    Twitter Thread Reader & Converter
    Youtube 视频和 Podcast 的摘要工具都有了，再 share 一个我自己 给 Twitter Space 做【摘要+时间戳】的黑科技方法 by @starzqeth(starzq.eth⛩️) | Twitter Thread Reader
    Youtube 视频和 Podcast 的摘要工具都有了，再 share 一个我自己 给 Twitter Space 做【摘要+时间戳】的黑科技方法 by @starzqeth(starzq.eth⛩️) | Twitter Thread Reader
    Youtube 视频和 Podcast 的摘要工具都有了，再 share 一个我自己 给 Twitter Space 做【摘要+时间戳】的黑科技方法

    这样所有的音视频内容都可以先通过摘要了解重点信息，再判断是否要深入了解，最后通过时间戳直接定位到具体内容，效率 x10

    具体方法，需要用到 3 个工具👇

    1/8 https://t.co/1udnui3GZf