前言

信息时代，随着计算机、互联网和数字媒体的不断发展，以多种媒体形式呈现的信息急剧增加，用户对多媒体信息的应用越来越普遍。但在面对浩瀚的信息海洋时，人们也正面临日益复杂的信息筛选与信息整合困境，针对多形式媒体信息的表示、检索、提取和处理问题越来越引起人们的关注。海量多形式媒体信息的处理涉及信息学、心理学、信号处理、模式识别、信息论、控制论等众多学科和技术领域，是目前的一个跨学科研究热点，正逐步发展成为一个专业的研究领域，即跨媒体信息处理。

跨媒体指的是多维、高阶和海量的文本、语音、图像和视频等信息，这些信息蕴涵广泛而复杂的交叉关联性。跨媒体信息处理涉及有效的文本、语音、图像与视频数据挖掘、海量数据存储、搜索引擎、数据实时分析、跨媒体统一表示与建模、跨媒体信息智能处理与全局融合、跨媒体信息挖掘与知识获取的模型和方法、跨媒体信息存取与知识表达的索引方法、跨媒体信息实时处理与验证等众多理论和技术问题。

传统的基于多媒体（如文本、语音、图像、视频等）的信息处理技术，作为相对独立的学科方向，已逐渐成为相对独立的研究领域，虽然有相近的理论和算法作为研究手段和技术，但到目前为止仍缺乏对不同种类信息之间的关联性理解、表示、分析和处理手段，现有技术在跨媒体信息检索、管理和预测等方面已经不能满足需要，必须在现有技术的基础上，探索和寻求新的跨媒体信息处理方法，以便更好地实现多种形式媒体信息的处理和融合，提取更加丰富的内容，以更加多彩、自然的形式呈现在人们面前。

本书首先介绍文本、语音、图像等形式的多媒体信息处理的基本概念、基本理论、基本方法，使读者在对这些领域发展概貌有比较全面的了解后，通过对跨媒体信息处理模型和方法等的系统介绍和深入分析，使读者对跨媒体信息处理这一新的技术领域有比较全面的认识。

全书主要包括三大部分内容：第一部分为绪论，介绍跨媒体信息处理技术的基本概念，以及国内外目前研究状况；第二部分为多媒体信息处理基础知识，对文本、语音、图像、视频等形式媒体信息处理的基本概念、基本理论、基本模型、国内外最新研究成果与技术进展等进行描述和分析，使读者对多媒体信息处理有一个全面了解；第三部分为跨媒体信息处理，主要内容包括跨媒体信息表示、检索和处理的理论、模型、技术与方法，以及跨媒体信息系统的基本组成结构、基本特点等，并通过对典型应用案例的介绍，使读者对跨媒体信息系统的发展与应用情况有更加深刻的了解。

跨媒体信息处理涉及众多新理论、新技术、新方法，目前国内外的相关参考资料和专业文献较少，许多理论和技术问题尚处于探讨与摸索阶段。因此，全书力求深入浅出、图文并茂，理论模型叙述与典型应用案例分析相结合，使不具备相关技术基础的读者也能够快速掌握相关知识，尤其是信息技术、模式识别、信号处理、多媒体与跨媒体信息处理等领域的工程技术人员、科研管理人员以及相关专业的大专院校学生、研究生参考，使更多的读者认识和研究这一新领域、新问题，共同推动跨媒体信息处理技术的发展。

在本书编写过程中，清华大学刘润生教授、清华大学宋健教授、中国科学院声学研究所颜永红教授、北京科技大学余达太教授等学者和专家，给予了大力指导，提供了大量资料和支持，在此表示衷心感谢！

因作者水平和经验有限，书中不当之处在所难免，敬请读者指正。

作者

2012年10月