加州大学伯克利分校的机器学习导论课程（2025年秋季版）

本课程介绍机器学习的理论基础、算法和应用，将数学的严谨性与实践经验相结合。这些大学的课程更新都很快，和现在的大模型等都有一些联系了。目前课程还在进行中，可以下载已经上完的课程的ppt和观看录像。

在整个学期中，我们将探索机器学习的完整流程，从问题构建、数据处理，到模型设计和优化。我们将从讨论什么是机器学习、如何构建和分类问题，以及常见学习范式的分类法开始。我们将回顾课程所需的数学背景，包括概率论和优化概念。

接着，我们将学习无监督学习方法，包括使用 k-means 和期望最大化（EM）算法进行聚类，以及使用主成分分析（PCA）进行降维。我们将详细讨论回归，从目标函数开始，然后转向线性回归及其最大似然估计（MLE）解释，最后探索回归与分类的联系。

课程的深度学习部分将从神经网络基础开始，包括构建非线性模型、选择架构和激活函数，以及定义损失函数。我们将涵盖 PyTorch 实现、反向传播、批量归一化、初始化策略和正则化。之后，我们将概览其他深度架构，如卷积神经网络（CNNs）、循环神经网络（RNNs）和 Transformer，以及生成模型，如大型语言模型（LLMs）、自编码器和生成对抗网络（GANs）。