• 量化张量支持多种格式,携带完整元数据,方便灵活管理量化信息。
• 通用范围估计方法,易扩展,支持多样量化算法。
• 量化算子调度基于 PyTorch dispatcher,针对不同量化方案优化执行。
• 逐步量化流程设计,支持模型从非量化到量化的全链路自定义转换。
• 默认安全模式自动捕捉常见错误,确保量化模型可直接部署高效硬件,且允许关闭该模式。
• mpath 工具抽象管理模块层级,便于批量操作多层网络结构。
• 未来规划包括 Omniquant、GPTQ、SpinQuant 等先进量化方法,以及自动量化和部署导出功能。
• 依托 PyTorch eager 模式,支持断点调试和打印,调试体验与标准模型无异。
适合科研和快速原型,助力高效探索量化技术边界。安装简单,基于 pip,兼容主流 PyTorch 环境。