1.2.2 模式空间、特征空间和类别空间

从技术角度来说，模式识别实质上完成的是从模式空间经过特征空间到类别空间的映射过程。

从物理角度上讲，在可以觉察到的世界里，我们把适当选择的某些物体和事件称为样本。对它们分别进行观察所得到的观测数据的集合就构成了模式，所有的观察样本数据则构成模式空间。显然模式空间的维数与所选择的样本、观测方法有关，也与特定的应用有关，一般是一个很大的有限值。在模式空间中，每个样本都是一个点，点的位置由该模式在各维上的数据来确定。由物理上可以觉察到的世界到模式空间的过程称为模式采集。

模式空间的维数虽多，但有些并不能揭示样本的实质。对模式空间里的各坐标元素进行综合分析，获取最能揭示样本属性的观测量以此作为样本的主要特征，这些主要特征就构成了特征空间。如此，显然特征的维数大大压缩了。由模式空间到特征空间所需要的综合分析，往往包含适当的变换和选择，称为特征提取和选择。

利用某些知识和经验可以确定分类原则，这种原则称为判别规则。根据适当的判别规则，将特征空间里的样本区分成不同的类型，从而将特征空间转换成了类别空间。类别空间中不同类别的分界面称为决策面。类别空间的维数与类别的数目相等，一般来说小于特征空间的维数。由特征空间到类别空间所需要的操作是分类判别。