Skip to main content

黑洞资源笔记

  1. 用于 DevOps 的 KCL

    Kusion 配置语言(KCL)是一个开源的基于约束的记录及函数语言。KCL 通过成熟的编程语言技术和实践来改进对大量繁杂配置比如云原生场景的编写,致力于构建围绕配置的更好的模块化、扩展性和稳定性,更简单的逻辑编写,以及更快的自动化集成和良好的生态延展性。

    使用场景:
    你可以将 KCL 用于:生成静态配置数据如 JSON, YAML 等,或者与已有的数据进行集成;使用 schema 对配置数据进行建模并减少配置数据中的样板文件;为配置数据定义带有规则约束的 schema 并对数据进行自动验证;通过梯度自动化方案无副作用地组织、简化、统一和管理庞大的配置;通过分块编写配置数据可扩展地管理庞大的配置;与 Kusion Stack 一起,用作平台工程语言来交付现代应用程序

    特性
    简单易用:源于 Python、Golang 等高级语言,采纳函数式编程语言特性,低副作用
    设计良好:独立的 Spec 驱动的语法、语义、运行时和系统库设计
    快速建模:以 Schema 为中心的配置类型及模块化抽象
    功能完备:基于 Config、Schema、Lambda、Rule 的配置及其模型、逻辑和策略编写
    可靠稳定:依赖静态类型系统、约束和自定义规则的配置稳定性
    强可扩展:通过独立配置块自动合并机制保证配置编写的高可扩展性
    易自动化:CRUD APIs,多语言 SDK,语言插件 构成的梯度自动化方案
    极致性能:使用 Rust & C,LLVM 实现,支持编译到本地代码和 WASM 的高性能编译时和运行时
    API 亲和:原生支持 OpenAPI、 Kubernetes CRD, Kubernetes YAML 等 API 生态规范
    开发友好:语言工具 (Format,Lint,Test,Vet,Doc 等)、 IDE 插件 构建良好的研发体验
    安全可控:面向领域,不原生提供线程、IO 等系统级功能,低噪音,低安全风险,易维护,易治理
    生产可用:广泛应用在蚂蚁集团平台工程及自动化的生产环境实践中

    KCL网站 | 项目地址
  2. 使用 Node.js 和 React 构建的开源 SaaS 样板​​​| Fest

    它配备了以下功能:
    具有电子邮件验证和密码重置功能的用户身份验证和授权。
    组织管理系统。
    邀请系统:用户可以通过具有不同的角色加入组织。
    使用基于角色的授权保护 API 终结点和前端路由。
  3. 适用于 Apache Kafka 的用户界面 | kafka-ui

    用于管理 Apache Kafka® 集群的多功能、快速和轻量级 Web UI。由开发人员构建,为开发人员服务。

    适用于 Apache Kafka 的 UI 是一个简单的工具,可让你的数据流可观察,帮助更快地查找和解决问题,并提供最佳性能。其轻量级仪表板可以轻松跟踪 Kafka 集群的关键指标 - 代理、主题、分区、生产和消费。

    只需几个简单的命令即可为 Apache Kafka 设置 UI,以易于理解的方式可视化你的 Kafka 数据。可以在本地或云

    特征
    1.多集群管理 — 在一个位置监控和管理所有集群
    2.使用指标仪表板进行性能监控 — 使用轻量级仪表板跟踪关键 Kafka 指标
    3.查看 Kafka 代理 — 查看主题和分区分配、控制器状态
    4.查看 Kafka 主题 — 查看分区计数、复制状态和自定义配置
    5.查看使用者组 — 查看每个分区的停放偏移、组合和每个分区的滞后
    6.浏览消息 — 使用 JSON、纯文本和 Avro 编码浏览消息
    7.动态主题配置 — 使用动态配置创建和配置新主题
    8.可配置的身份验证 — 使用可选的 Github/Gitlab/Google OAuth 2.0 保护您的安装
    9.自定义序列化/反序列化插件 - 对您的数据使用现成的 serde,如 AWS Glue 或 Smile,或编写你自己的代码!
    10.基于角色的访问控制 - 以精细的精度管理访问 UI 的权限
    11.数据屏蔽 - 对主题消息中的敏感数据进行模糊处理
  4. 适用于 Apache Kafka 的用户界面 | kafka-ui

    用于管理 Apache Kafka® 集群的多功能、快速和轻量级 Web UI。由开发人员构建,为开发人员服务。

    适用于 Apache Kafka 的 UI 是一个简单的工具,可让你的数据流可观察,帮助更快地查找和解决问题,并提供最佳性能。其轻量级仪表板可以轻松跟踪 Kafka 集群的关键指标 - 代理、主题、分区、生产和消费。

    只需几个简单的命令即可为 Apache Kafka 设置 UI,以易于理解的方式可视化你的 Kafka 数据。可以在本地或云

    特征
    1.多集群管理 — 在一个位置监控和管理所有集群
    2.使用指标仪表板进行性能监控 — 使用轻量级仪表板跟踪关键 Kafka 指标
    3.查看 Kafka 代理 — 查看主题和分区分配、控制器状态
    4.查看 Kafka 主题 — 查看分区计数、复制状态和自定义配置
    5.查看使用者组 — 查看每个分区的停放偏移、组合和每个分区的滞后
    6.浏览消息 — 使用 JSON、纯文本和 Avro 编码浏览消息
    7.动态主题配置 — 使用动态配置创建和配置新主题
    8.可配置的身份验证 — 使用可选的 Github/Gitlab/Google OAuth 2.0 保护您的安装
    9.自定义序列化/反序列化插件 - 对您的数据使用现成的 serde,如 AWS Glue 或 Smile,或编写您自己的代码!
    10.基于角色的访问控制 - 以精细的精度管理访问 UI 的权限
    11.数据屏蔽 - 对主题消息中的敏感数据进行模糊处理 GitHub - provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management
  5. pycorrector:中文文本纠错工具。支持中文音似、形似、语法错误纠正,python3开发。

    pycorrector实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错,并在SigHAN数据集评估各模型的效果。 ​​​

    项目地址 | #工具
  6. ChatGPT 的实际工作原理 | 详文

    自发布以来,公众一直在玩 ChatGPT,看看它能做什么,但 ChatGPT 实际上是如何工作的?虽然其内部工作的细节尚未公布,但我们可以从最近的研究中拼凑出它的功能原理。

    ChatGPT 是 OpenAI 的最新语言模型,对其前身 GPT-3 进行了重大改进。与许多大型语言模型类似,ChatGPT 能够生成各种样式和不同目的的文本,但具有更高的精度、细节和连贯性。它代表了OpenAI大型语言模型系列的下一代,其设计非常注重交互式对话。

    创建者已经使用了监督学习和强化学习的组合来微调 ChatGPT,但正是强化学习组件使 ChatGPT 与众不同。创建者使用一种称为从人类反馈中强化学习 (RLHF) 的特定技术,该技术在训练循环中使用人类反馈来最大限度地减少有害、不真实和/或有偏见的输出。

    在了解 RLHF 的工作原理并了解 ChatGPT 如何使用 RLHF 来克服这些问题之前,我们将研究 GPT-3 的局限性以及它们如何源于其训练过程。最后,我们将通过研究这种方法的一些局限性来结束。
  7. 程序员使用 Bash 编写 shell 脚本来自动执行手动任务。Bash 是一种命令语言 — 它可通过输入二进制名称和参数,以更少的代码立即生成进程。还提供了一些通用语言功能,例如结构化编程控制语句、内置算术/比较功能和基本数据结构。

    我们经常需要通过添加新功能或更改现有逻辑来更新自动化脚本。编写可管理且干净的 shell 脚本无疑是在 shell 脚本更新期间节省时间的好习惯。此外,包含编写良好的自动化脚本可以提高代码库的质量和整个自动化工作流程的质量。

    本文将提到几个提高 Bash 脚本质量的技巧。通过使用这些技巧编写更好的 shell 脚本来提高编程效率!

    博文 | #技巧