如果你曾好奇机器学习「黑箱」内部到底是什么，答案并没有看上去那么神秘。机器学习不是一个万能的咒语，而是一个装满工具的工作间（workshop），每种工具都专为解决某一类问题而设计。事实上，「没有免费午餐」定理（No Free Lunch Theorem，Wolpert，1996）从数学上证明，没有任何算法能在所有可能的场景中都优于其他算法。因此，关键不在于记住某个神奇公式，而在于了解整个选项菜单，并理解在每种具体情境下该用哪一个。
下文将带你走一遍七种基础算法，它们分为两大类别：监督学习（supervised learning），数据带有标签；以及无监督学习（unsupervised learning），模型必须自行发现模式。
监督学习：当数据已自带答案
线性回归（Linear Regression）
线性回归几乎是一切学习的起点。它把因变量（我们想要预测的值）与一个或多个自变量（特征）之间的关系建模为参数的线性组合。通俗地讲：它画出一条最能拟合所有数据点的直线，使误差平方和最小化（普通最小二乘法，OLS）。
何时使用？ 当目标是连续的数值——预测房价、明天的气温或下个季度的销售额——且变量之间大致呈线性关系时。它的正则化变体（岭回归 ridge、套索回归 lasso）在特征较多或存在过拟合风险时尤为有用。
局限性：假设线性关系，且对异常值敏感。
逻辑回归（Logistic Regression）
尽管叫回归，但它实际上用于二分类。一封邮件是不是垃圾邮件？一位患者是否患有某种疾病？逻辑回归使用 sigmoid 函数（sigmoid function）对事件发生的概率进行建模，该函数将任意数值压缩到 0 到 1 之间。决策边界通常设在 0.5，但可以根据误报和漏报的代价进行调整。
何时使用？ 当你需要将数据分为两类，且两类之间的边界大致为线性时。它速度快、可解释性强，即使在数据量不是特别大的情况下也表现良好。
局限性：其线性决策边界无法捕捉复杂关系，除非进行额外的特征工程。
决策树（Decision Tree）
决策树就像一个「20 个问题」游戏：模型从数据中学习出一系列 if-else 规则。每个内部节点询问一个特征（「收入是否超过 50,000 美元？」），每条分支是一个可能的答案，每片叶子是一个预测。
它最大的优势是可解释性：你可以将整棵树可视化，并解释每项决策是如何做出的。此外，它对数据准备要求不高，既能处理数值也能处理类别变量。
何时使用？ 当透明度比绝对精度更重要时——例如在医疗或金融领域，你需要为每一个预测提供解释。
局限性：容易过拟合。一棵过深的树可能会记住数据中的噪声，而不是学到真正的信号。由此催生了下一项工具。
随机森林（Random Forest）
如果说一棵树是脆弱的，那么一百棵树聚在一起就是坚固的。随机森林由 Leo Breiman 于 2001 年提出，其构建方式是：训练数百棵决策树——每棵树在略微不同的数据样本上训练（这种技术称为装袋 bagging），并且在每次分裂时仅考虑一个随机的特征子集。然后，对于分类任务，取所有树的众数；对于回归任务，取平均值。
其结果是一个远比单棵决策树更稳定的模型，方差更低，且偏差不会显著增加。大数定律保证了随着不断加入更多树，误差会收敛。
何时使用？ 这是现存最通用的模型之一。它适用于表格数据，能够处理高维数据，容忍缺失值，并提供特征重要性的衡量。如果你不知道从哪里开始，随机森林是一个稳妥的选择。
局限性：以牺牲单棵树的解释性为代价换取精度。面对数百棵树，你无法再「看清」整个模型。
支持向量机（SVM）
SVM 寻找最佳分离两个类别的超平面（hyperplane）——不仅仅是任意一条分界线，而是最大化两类之间最近点（即「支持向量」support vectors）距离的那条线。这使得它对未见数据具有极强的鲁棒性。
其真正的威力在于核技巧（kernel trick）：通过将数据变换到更高维度的空间，SVM 可以学习非线性决策边界，而无需显式计算这种变换。最常用的核函数包括线性核、多项式核和 RBF 核（径向基函数）。
何时使用？ 当特征数量大于样本数量时，SVM 表现出色——如基因组学、文本分类、人脸识别——以及当你需要一个泛化能力强的模型时。
局限性：核函数和正则化参数的选择需要精心调优。它不直接输出概率（需要通过代价高昂的交叉验证来获得）。近十年来，梯度提升树（gradient-boosted trees）和神经网络在许多任务上已经超越了它，但在某些细分领域，SVM 依然是王者。
无监督学习：当数据没有标签
K-Means
K-Means 是聚类（clustering）算法的代表。其目标是将数据划分为 k 个簇，每个点归属于距离其最近的那个质心（centroid，即簇内点的均值）。这一过程是迭代式的：初始化 k 个质心，将每个点分配给距离最近的质心，将质心重新计算为分配给该簇各点的均值，然后重复，直到簇的分配不再改变。
何时使用？ 用于客户细分、文档组织、图像压缩，或任何你怀疑数据中存在自然分组的场景。
局限性：必须预先选择 k 的值（肘部法则和轮廓系数可以辅助选择，但它们仍是启发式方法）。它假设簇是球形的且大小相似。此外，结果取决于初始化方式——因此通常会用不同的随机种子多次运行。
主成分分析（PCA）
PCA 既不预测也不分组：它的作用是降维。它将一组可能彼此相关的变量转换为一组更少的、彼此正交（即不相关）的成分，这些成分保留了原始方差中的绝大部分。这是一种线性变换——它通过求协方差矩阵的特征向量或使用 SVD 分解（奇异值分解）来实现——因而无法捕捉复杂的非线性结构。
何时使用？ 在应用其他算法之前：PCA 可以降低噪声、加速训练、避免维度灾难，并便于高维数据的可视化。它也是压缩和人脸识别系统（特征脸 eigenfaces）的基础。
局限性：作为一种线性方法，在具有弯曲几何结构的数据上会失效（经典的「瑞士卷」Swiss roll 问题）。如果方差与真正有用的信息不重合，PCA 可能会恰好丢弃掉最重要的东西。而且它对特征的量纲尺度非常敏感——使用之前务必进行标准化。
为什么了解这些工具很重要
领会这个算法菜单，正是区分只会运行代码的人和懂得构建坚实解决方案的人的关键。每种工具在可解释性、精度、速度和假设方面都有不同的特性。线性回归给你清晰的解释；随机森林以透明度为代价换来精度；SVM 在你能选对核函数时给出干净的分类边界；K-Means 帮你发现原本不知道存在的分组；而 PCA 在建模之前为你清理道路。
真正的机器学习不在于找到「最好的」算法，而在于知道哪一个最适合你眼前的问题。正如 George Box 所言：「所有模型都是错的，但有些是有用的。」了解你的工具箱，正是构建那些有用模型的第一步。
主要来源： Hastie, T., Tibshirani, R. 和 Friedman, J.（2009）。The Elements of Statistical Learning，第 2 版。Springer。访问地址：https://hastie.su.domains/ElemStatLearn/。同时参考了 scikit-learn 文档（v. 1.8.0）以及 Breiman（2001）、MacQueen（1967）、Pearson（1901）、Hotelling（1933）和 Wolpert（1996）的原始论文，用于验证每种算法。