Open-dLLM:首个全开源扩散式大语言模型全栈项目,覆盖预训练、评测、推理与权重发布,刷新了扩散 LLM 的开放透明度标准。
• 集成 Open-dCoder 代码生成模型,参数仅0.5B,却在代码补全和填充任务上超越多款7-8B级别扩散模型。
• 全流程开源:从原始数据、训练代码、评测脚本到推理代码及模型权重一应俱全,确保结果可复现。
• 评测覆盖 HumanEval、MBPP、Infilling 等多维度代码生成与填充指标,Open-dCoder代码填充准确率高达77.4%。
• 采用 Masked Diffusion Model (MDM) 训练目标,创新地通过不同比例掩码实现代码片段重建,提升模型生成质量。
• 预训练基于 Hugging Face 发布的 FineCode 高质量代码数据集,且继承 Qwen2.5-Coder 转扩散架构,兼顾效率与性能。
• 配套详尽安装与推理示例,支持 CUDA 12.3、FlashAttention 等最新硬件加速技术,方便快速上手。
• 对比目前主流扩散 LLM(LLaDA、Dream等)仅开放推理+权重,Open-dLLM全面开放训练与评估,真正做到透明与可控。