3．多媒介文本的联合解码

许多体裁可以有多种媒介构成。例如连环画是一种体裁，由图画与文字两种媒介组合而成；多媒介体裁（multimedia genre）看起来是现代技术的产物，实际上自古以来一直有。歌曲是一种从人类文明开始时就有的体裁，其中的媒介有语言、音乐以及演唱者的身姿；中国画经常有文字（印章、题款），可以说是图文结合的最早例子；至于小说配插图，是自然而然的做法。戏剧据说有十种媒介，形成复杂媒介体裁。电影中由连续的图画造成的动态影像、声音、音乐、文字、语言等多种媒介，有的研究者在电影中找出十三种媒介。

在当代电子传媒中，更容易做到多种媒介混合，例如电影的表演、特技、音乐、声音等，可以分别录制，然后剪辑拼合，这就让电影进入工业生产流程，也造就了电影这个现代“奇观”体裁。

一般说来，多媒介配合能够使表意更加明确，更加丰富，合起来作用于解释。贝多芬的《第九交响乐》最后乐章与席勒的《欢乐颂》配合之完美，已经让人不可能想象没有合唱，乐曲如何终结。二十世纪三十年代初有声电影出现，曾经使不少电影从业者认为，对话与音乐将使电影过于接近当时的强势体裁戏剧，从而走向穷途末路。雅柯布森当时从符号学角度研究这一问题，写出《电影在衰落吗？》，他认为多媒介将使电影艺术焕然一新。⁽¹⁵⁾看来符号学家观察文化发展，常能先人一步。

也有人认为一个体裁中媒介越多，艺术感染力越强。瓦格纳坚持认为歌剧是一种“集合艺术”，是最理想的艺术门类。他是说感染力的强度，与同时在观众感官上起作用的媒介数目成正比。媒介多的确能增加表现力，却不能保证艺术的优劣。当今某些演出，舞台炫丽，声光电气一拥而上，花样百出，作为艺术却让人不敢恭维。

多媒介符号文本，在信息接收者头脑中要做最后的拼合。此时各种媒介表意不一定对应，接收者不得不对各媒介传送的意义分别进行解释，然后综合起来。例如戏剧说话与表情不一致，歌曲的词与曲调不一致，音乐的曲调与标题不一致，电影的画面与语言不一致，这时候根据哪个媒介的信息决定解释，就成了需要斟酌的事。

在多媒介文本中，经常有一个媒介在意义上定调，否则当几种媒介传达的信息之间发生冲突，解释者就会失去解读的凭据。何者为意义“定调媒介”，并不取决于此媒介的“重要性”，而是取决于此媒介传达的文本清晰程度，用麦克卢汉的术语，取决于媒介的“热度”。在具体操作中，定调媒介是由体裁的文化程式决定的。

在电影的多媒介竞争中，“定调媒介”一般是镜头画面，因为画面连绵不断，而语言、音乐、声响等时常中断。由于电影艺术的超熟发展，电影观众的充分成熟，各媒介之间的反讽张力更为复杂有趣。根据道克多洛（E.L. Doctorow）小说改编的电影《爵士时代》（Ragtime）中有个镜头：女主人公已经不爱她那个伪君子丈夫，丈夫对她说：“我得离开了。”女主人公回答说：“别把我一个人撇下。”她说这话时，面部特写镜头却显示了她的冷淡表情，可以体会到女主角的实际意思是“走你的吧”。人物说的语言与人物表情画面意义正好相反，而画面传达的信息应当是“定调”的。如此安排，人物的心理和文化处境之间的复杂关系，很细腻地表现了出来。

台湾导演杨德昌的《一一》中，电影声音是中年男子和女友在街头的谈话声，画面则是他们的下一代女儿和男友街头约会的场面，音与画各讲一个故事，可以看到镜头画面是主线，叙述重点在下一代身上，上一代的对话已成对照的遗迹。⁽¹⁶⁾一个世代又过去了，历史沧桑感借媒介冲突体现出来。

在歌曲中，“定调媒介”是歌词，歌词决定歌的意义解释。《社会主义好》无论怎么唱，哪怕用摇滚风格来演唱，都是颂歌，但是电影《盲井》中几个矿工把词改了，就变成讽刺歌曲。2007年风靡一时的歌《香水有毒》，曲调优美，歌手胡杨林阐释动人。春晚进了大名单，在三审时还是被拿下，因为歌词有“爱情不专一”的暧昧倾向，音乐改变不了歌词的“定调媒介”地位。⁽¹⁷⁾

歌词决定意义走向，是由于语言文字作为媒介的“热度”。音乐经常不得不靠区区一个标题。哪怕有的乐曲模仿“自然声”惟妙惟肖，例如德彪西的交响诗《大海》，霍尔斯特的交响诗组曲《行星》；哪怕有大量意义明确的音乐素材，例如斯美塔那的《我的祖国》有大量捷克民歌，柴可夫斯基的《1812序曲》直接用《马赛曲》，这些音乐依然必须靠标题才能让人听懂。贝多芬因为拿破仑称帝，愤而把《英雄交响曲》献给拿破仑的题献去掉，果然这首乐曲与拿破仑不再有任何关系。