一、多模态话语理论

多模态话语分析(multimodal discourse analysis)最早开始于20世纪9 0年代。当时的学者们以Halliday创立的系统功能语言学为其理论基础，认为如图像、声音、动作等语言文字和其他信息模态都可以归纳为社会符号(social semiotic)，因此也就都成为了构成话语交际的有机组成部分，并具有一定的意义潜势(meaning potential)^[1]。也就是说，在真实环境交际中，话语通常由语言与非语言多种模态符号资源组合与互动共同构建话语意义。新伦敦小组（New London Group）在1996年发表了《多元识读教学：设计社会未来》一文，将多模态话语分析研究应用到语言教学领域，提出学习通过设计进行(learning by design)的中心概念，创建多元识读能力培养模式^[2]。在中国, 张德禄和顾曰国等先后向国内学界介绍和探讨了这个新兴的研究领域。张德禄深入研究如何在多模态话语分析理论框架下选择最有效的模态进行外语教学实践活动^[3]；探讨如何在外语课堂教学中调用多模态系统进行学习，构建教学程序和模态系统选择的基本原则^[4]；并探索多模态学习能力培养模式^[5]。顾曰国从理论上论述了多模态互动的形式^[6]。