1.2　特征选择与提取

1.2.1　特征

特征（Feature）是能描述模式特性（性质）的量或测量值[12]。通过对模式的分析得到一组特征值，这个过程称为特征形成。一般而言，特征有两种表达方法：一是将特征表达为数值；二是将特征表达为基元。当将特征表达为数值时，一个模式的n个特征值就构成了一个特征矢量，通常用一个矢量x表示，即

式中，x的每个分量xi(i=1,2,,n)对应一个特征。当特征表达为基元时，一个模式表述为一个句子，记为x，即

式中，xi(i=1,2,,n)为基元，反映了构成模式的基本要素。原始特征要变换成最少的特征，以便对分类识别最有效，这是特征选择与提取的任务。从本质上讲，这样做的目的是使在最小维度特征空间中的异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。

特征可分为3层：低层特征、中层特征和高层特征。低层特征又可分为无序尺度、有序尺度和名义尺度3种。无序尺度的低层特征有明确的数量和数值；有序尺度的低层特征有先后、好坏的次序关系，如酒可分为上、中、下3个等级；名义尺度的低层特征具有无数量、无次序的关系，如红、黄两种颜色。中层特征是经过计算、变换得到的特征。高层特征是在中层特征的基础上经过有目的地运算形成的，如椅子的质量就可以通过椅子的体积乘以椅子的密度得到，椅子的体积与椅子的长、宽、高有关，椅子的密度则与椅子的材料、纹理、颜色有关。

1.2.2　特征选择

通常用于描述模式性质的特征很多，需要从一组特征中挑选一些最有效的特征以降低特征空间的维数，即进行特征选择。特征选择有两种方法：直接选择法和变换法。直接选择法是当实际用于分类识别的特征数目n确定后，直接从已获得的N 个原始特征中选出n 个特征，使可分性判据J的值满足下式：

式中，为N个原始特征中的任意n个特征。式（1-3）表示直接寻找N维特征空间中的n维子空间。直接选择法主要有分支定界法、用回归建模技术确定相关特征等方法。

变换法是在使判据J取最大的目标下，对N个原始特征进行变换降维，即对原N维特征空间进行坐标变换，然后取子空间。其主要方法有基于可分性判据的特征选择、基于误判概率的特征选择、离散K-L变换法（DKLT）、基于决策界的特征选择等。

1.2.3　特征提取

特征提取通过适当的变换把N个原始测量特征转换为n（n<N）个新的特征。特征提取可以降低维数，有时还可以消除特征之间存在的相关性，使得新的特征更有利于分类。例如，遥感成像光谱仪波段数一般达数百个之多，如果直接用原始数据进行地物分类，数据量太大，导致计算复杂，且分类效果不一定好。此时，可通过变换或映射的方法，将原始数据空间变换到特征空间，得到最能反映模式本质的特征，同时降低空间维数。

特征提取有时也称为特征变换，其最常见的方法是线性特征变换方法。如果原始特征是N维的（），变换后的新特征是n维的（），则

式中，W为维的变换矩阵。特征提取就是寻找适当的W来实现最优的特征变换。一般情况下，n<N。也就是说，特征变换是降维变换。但是，在有些情况下，也可以采用非线性特征变换来升维。

线性特征变换方法有PCA（Principal Component Analysis，主成分分析）法、K-L变换法等；非线性特征变换方法有MDS （Multidimensional Scaling，多维尺度）法、KPCA（Kernel PCA，核主成分分析）法及非线性距离度量法等。