机器学习：特征提取与特征选择意义及目的

•特征提取与选择的基本任务：

是研究如何从众多特征中求出那些对分类识别最有效的特征，从而实现特征空间维数的压缩,即获取一组“少而精”且分类错误概率小的分类待征.

目的：

使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。

要求：

        (1)具有很大的识别信息量。即所提供的特征应具有很好

的可分性，使分类器容易判别。

(2)具有可靠性。对那些模棱两可，似是而非不易判别的

特征应该去掉。

(3)具有尽可能强的独立性。重复的、相关性强的特征只

选一个，因为强的相关性并没有增加更多的分类信息，不

能要。

(4)数量尽可能少，同时损失的信息尽量小。