DeepSeek发布了一项新的成果,CodeI/O 通过代码输入-输出预测提炼推理模式 | 详文

这项研究提出了一种名为CoDEI/O的新方法,用来提升大型语言模型(如ChatGPT等)的推理能力。传统方法通常专注于训练模型解决数学题或生成代码,但其他类型的推理任务(如逻辑推理、科学推理)由于缺乏高质量的训练数据,效果往往不佳。

这项研究的核心思路是:用代码教模型“解题思维”
代码中其实隐藏着丰富的“解题套路”。例如,一段计算阶乘的代码,本质上包含了“从1连乘到n”的数学推理步骤。CoDEI/O的巧妙之处在于:
1. 把代码变成“输入-输出”练习题:给定一个代码函数和输入,让模型预测输出;或者给定代码和输出,让模型反推输入。
2. 用自然语言描述推理过程:模型需要像学生写解题步骤一样,用文字说明“为什么输入A会得到输出B”,而不是直接生成代码。这种“思维链”训练让模型学会通用的推理方法,比如如何拆解问题、如何验证条件等。

如何实现?
⭐️收集代码:从算法题库、数学问题等来源筛选45万多个代码函数。
⭐️生成练习题:为每个代码函数自动生成多组输入输出对,例如测试阶乘函数时,输入5对应输出120。
⭐️让模型“写解题步骤”:使用一个强大的开源模型(DeepSeek-V2.5)为每个练习题生成自然语言的推理过程。
⭐️纠错升级(CoDEI/O++):如果模型预测错误,系统会通过执行代码得到正确答案,并让模型根据反馈重新生成推理步骤。类似老师批改作业后让学生订正。

效果如何?
⭐️在14个不同类型的推理测试中(涵盖数学、逻辑、常识等),经过CoDEI/O训练的模型表现更全面:
⭐️不偏科:传统方法可能在数学题上得分高,但逻辑题得分低,而CoDEI/O在所有任务中均有提升。
⭐️验证可靠:模型的推理步骤可以通过代码执行直接验证,确保正确性。
⭐️开源共享:所有训练数据和模型已公开(GitHub),方便后续研究。

总结一下,CodeI/O 就像是一种新的“思考训练营”,它利用代码这种结构化的信息,让AI学习更通用、更可靠的推理能力。(以上内容是deepseek根据论文生成的)
儿童专属绘本创作网站 | #绘本 #儿童 #教育

阿贝智能:可以让孩子的创意、想法更快实现,也可以让家长把想讲的话在10分钟之内创作出一个绘本故事,讲给孩子听。

艾绘:可以选择不同的故事类型,结合自己的创意,轻松创作出个性化的绘本故事。

摩笔天书:只需输入文本,AI即可生成视频。

奇布塔:运用AI故事、自动生图和图文编辑等功能,轻松生成绘本。

OneStory:多功能的AI故事生成助手,快速将创意转化为视觉作品。
世界上第一本全面讲述机器学习系统知识的开源书籍《机器学习系统:设计和实现》 | #机器学习 #电子书

机器学习是如何利用计算机系统实现计算加速和部署的?本书讲述的是衔接机器学习和计算机系统的知识。

内容涵盖了机器学习系统的全貌,从基础的编程接口、计算图,到进阶的编译器技术、硬件加速器,再到拓展篇中的推荐系统、联邦学习和强化学习等内容。
密码学基础

北京大学前沿计算研究中心刘天任老师的课。可以下载老师整理的教材和部分学生的手写笔记等资料。

内容包括掌握密码学的核心概念和主要技术,如完美保密性、伪随机生成器、公钥加密、零知识证明等。
连载教程:从零开始理解大语言模型,作者汤凯华

该系列的目的是让读者可以在基础的pytorch上,不依赖任何其他现成的外部库,从零开始理解并实现一个大语言模型的所有组成部分,以及训练微调代码,因此读者仅需python,pytorch和最基础深度学习背景知识即可。
这本书使用 MySQL 挑战作为案例研究,探讨问题分析和解决策略。读者将通过实际示例和深入讨论,对逻辑推理、数据结构、算法等有更深的理解。

书中不仅介绍了MySQL的内部结构、性能测试方法和8.0版本的改进,还深入分析了如何优化MySQL的性能和可用性。

软件工程中的问题解决艺术:如何改进MySQL | #电子书 #MySQL
南京大学蒋炎岩老师的wiki:Yanyan's Wiki,内容主要是蒋炎岩老师教授的两门课的资料:操作系统、软件工程研究导论

蒋炎岩老师的操作系统课很受欢迎也很经典。这里可以下载课件,也很容易找到对应的教学视频。蒋老师自己写代码的能力很强,课上还会培养大家阅读源码、查阅手册的能力。

软件工程研究导论:这门课的是培养学生在软件、系统和编程语言方面的研究技能,包括:阅读研究论文、进行严谨的研究、学术写作以及排版研究计划。最终,它帮助学生确定研究方向,并在竞争激烈的学术环境中更好的发展。
Back to Top