特征工程概述

  • 定义：特征工程是对原始数据进行一系列处理，以提取出对模型训练有用的特征的过程
  • 内容：包括特征提取、特征预处理、特征降维、特征选择和特征组合
  • 数据与特征的重要性: 数据和特征决定了机器学习算法的上限，而模型和算法只是逼近这个上限

特征提取

  • 定义: 从原始数据中提取出对模型有用的特征，构成特征向量
  • 作用: 使得模型能够更好地理解和利用数据，提高模型的性能

特征预处理

  • 定义: 对提取出的特征进行进一步的处理，以使其满足模型训练的要求
  • 作用: 消除数据中的噪声、异常值等不利因素，提高模型训练的稳定性和准确性

数据降维

  • 定义: 通过某种方法减少特征的数量，以降低数据的维度
  • 作用: 简化模型、减少计算量、避免过拟合，同时可能提高模型的泛化能力

特征选择

  • 定义: 从所有特征中选择出对模型训练最有用的特征
  • 作用: 去除不相关或冗余的特征，提高模型的性能和解释性

特征组合

  • 定义: 将多个特征组合成一个新的特征，以捕捉数据中的更复杂关系
  • 作用: 提高模型对数据的理解能力和预测性能