决策树是对数据进行分类，以此达到预测的目的。该决策树方法先根据训练集数据形成决策树，如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到训练集数据中，重复该过程一直到形成正确的决策集。决策树代表着决策集的树形结构。决策树是一种监督学习算法（supervised learning），利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。

1.1、ID3(Iterative Dichotomiser 3 迭代二叉树3代)

ID3决策树算法及其Python实现： https://blog.csdn.net/leaf_zizi/article/details/82848682

1.2、C4.5

C4.5算法增加了对于连续性数据的处理方案，这是ID3算法中没有的，为了更好的理解C4.5对与连续性数据的处理，请阅读：
C4.5中连续值处理： https://blog.csdn.net/leaf_zizi/article/details/83105836

算法的实现请见（建议先手动实现ID3算法进行简单分类的应用后，再着手实现C4.5）：
C4.5算法详解（非常仔细）：
https://blog.csdn.net/zjsghww/article/details/51638126
C4.5决策树算法思想：
https://blog.csdn.net/u012905422/article/details/57414241?utm_source=blogxgwz9
数据挖掘十大算法之一C4.5（详细版终结版）：https://blog.csdn.net/x454045816/article/details/44726921?utm_source=blogxgwz1

1.3、CART( Classification And Regression Tree)（待补充）

CART算法的原理及实现：
https://www.cnblogs.com/gswang/p/7513299.html

2、KNN(K最近邻·k-NearestNeighbor)

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。 kNN方法在类别决策时，只与极少量的相邻样本有关。对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
学习此部分内容时，可以尝试了解python的matplotlib库（尤其是其中的pyplot模块）：
matplotlib中文文档以及案例：
https://www.matplotlib.org.cn/
https://www.cnblogs.com/feinaio2017/p/9058291.html
机器学习算法与Python实践之k近邻（KNN）:
https://blog.csdn.net/zouxy09/article/details/16955347

3、Kmeans(k均值聚类算法·k-means clustering algorithm)

k均值聚类算法（k-means clustering algorithm）是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有（或最小数目）对象被重新分配给不同的聚类，没有（或最小数目）聚类中心再发生变化，误差平方和局部最小。
可尝试使用鸢尾花数据集进行Kmeans的尝试：
Python实现Iris数据集（鸢尾花卉数据集）kmeans聚类：
https://blog.csdn.net/u010916338/article/details/86487890
Kmeans聚类算法详解：
https://blog.csdn.net/qq_32892383/article/details/80107795
kmeans算法理解及代码实现：
https://www.cnblogs.com/lliuye/p/9144312.html