决策树算法思想

决策树简介

决策树

  • 核心思想：将特征看作一系列条件，通过数据学习这些条件划分方式
  • 决策过程：依次考察重要特征，不满足条件则直接输出结果，满足则继续考察其他特征

决策树的构建

  • 节点类型：
    • 分支节点：表示判断条件
    • 叶子节点：表示预测结果
    • 分支：条件判断结果
  • 构建过程：
    1. 特征选择：选择对目标值影响最大(分类能力最大)的特征，作为根节点，次大的特征作为分支节点
    2. 决策树生成：按照特征重要性分层构建，重要特征靠近树根
    3. 决策树剪枝：决策树容易过拟合，剪枝来缓解过拟合

      [!note] 剪枝策略：
      决策树结构过于复杂，导致对训练集过拟合，剪枝一般要从深层节点去剪切，可以简化树结构，提高树的泛化能力

常见决策树

ID决策树

信息熵

C4.5决策树

CART决策树

CART回归树

决策树剪枝

案例

参考资料