语文课程中的多模态素养
摘要
网络信息技术虽然方便了文字信息的获取与传播, 但也提供了一个文字之外的阅读、沟通和表达的过程,网络信息技术结合了文字和文字以外的声音、图像、气味、触感，甚至意念。它为人类提供了一种全新的认知经验,让人类重归全感观的认知体验。语文课程中的多模态素养是学生在学习多模态文本过程中所使用的素养，它包含一系列的能力：使用网站电子资源学习的能力；对学习资料搜集归纳能力；对静态或动态图像分析、运用的能力；制作文字融合图像、声音等多种媒介共同表达的能力；批判媒体信息的能力；对多元文化包容的能力等。多模态素养是在教育信息化背景下产生的。随着网络信息科技的高度发展，以计算机为核心的多媒体技术、数字技术、电子仿真模拟技术、虚拟技术等高新技术不断走进教室，进入课堂。在传统的多媒体教学辅助工具中，又增加了电子白板，平板电脑等新的教学辅助工具，同时又融入了学习网站资源，语文学习文本，学习方式变得多样化。
论文共包括四个章节。第一章主要是问题的提出，介绍多模态素养的研究背景、国内外研究现状、研究内容和研究方法。第二章是多模态素养概述，具体阐述了模态、多模态、多模态素养、语文课程中的多模态素养的概念，以及社会符号学、双重编码、多元智能的理论基础的阐述。第三章是多模态文本的学习，多模态素养是学生在学习多模态文本过程中使用的素养，本章就对多模态文本进行阐述，对国内外多模态文本学习活动案例进行分析。第四章是多模态对我国教育的启示。这一章节分析了我国语文课程标准，教材，学习资源的多模态成分，阐述了培养学生多模态素养的必要性以及对语文教育的挑战。
关键词：多模态素养；多模态文本；启示
1
第一章 问题的提出............................................... 4
（一）研究背景与问题的提出............................................................................. 4
1．读图时代：多模态的普遍性.................................................................... 4 2．Web2.0：学习交流方式的丰富 ............................................................... 5 3．教育大变革：信息化教育........................................................................ 7 4．问题的提出................................................................................................ 7 5．思考：信息技术教育能否代替？............................................................ 8 （二）研究现状..................................................................................................... 9
1．国内有关多模态的学术研究.................................................................... 9 2．国外多模态素养研究概述...................................................................... 11 （三）研究的目的意义....................................................................................... 12
1．适应语文教育现代化的要求.................................................................. 12 2．加强语文学科与生活的联系.................................................................. 13 3．为语文学科培养学生多元思维和批判性思维提供路径...................... 13 （四）研究内容与方法....................................................................................... 13
1．研究界定和研究内容.............................................................................. 13 2．研究方法.................................................................................................. 13
第二章 多模态素养概述............................................................................................ 15
（一）多模态的概念........................................................................................... 15
1．模态的含义.............................................................................................. 15 2．多模态的内涵.......................................................................................... 17 （二）多模态素养的概念................................................................................... 18
1．概念提出的依据：素养含义的变化...................................................... 18 2．多模态素养的内涵.................................................................................. 21 3．语文课程中多模态素养的内涵.............................................................. 22 （三）理论基础................................................................................................... 23
1．社会符号学.............................................................................................. 23 2．双重编码理论.......................................................................................... 24 3．多元智能理论.......................................................................................... 25
2
第三章 多模态文本学习............................................................................................ 29
（一）多模态文本............................................................................................... 29
1．文本的含义和种类.................................................................................. 29 2．多模态文本.............................................................................................. 31 （二）多模态文本的学习................................................................................... 34
1．视觉思维与视觉图像的加工方法.......................................................... 35 2．多模态文本学习的三个视角.................................................................. 37 3．多模态文本引起听说读写学习的变化.................................................. 38 （三）语文课程中多模态文本学习活动案例................................................... 42 第四章 多模态素养对我国语文教育的启示............................................................ 46
（一）语文教育培养学生多模态素养的条件分析........................................... 46
1．语文课程标准的多模态素养成分分析.................................................. 46 2．人教版教材内容多模态素养分析.......................................................... 47 3．语文课程资源多模态分析...................................................................... 48 （二）语文教育培养学生多模态素养的必要性............................................... 50 （三) 多模态素养给语文教育带来的影响及挑战 ........................................... 51
3
第一章 问题的提出
不同于传统媒介的传播方式，现今的信息科技凭借强大的数字处理技术和网络交互技术创造了一种更新的媒介环境与文化形态，以批判意识为核心的传统媒介素养已经较难适应高度发展的信息环境下公众的学习生活需要。参与式文化与交往型社会的逐渐形成，对大众的媒介素养提出了更新的要求。上世纪九十年代末的第三次信息化浪潮席卷全球，宣告了人们数字化生存时代的到来。同时也产生了一批新媒介，如网络媒体、电子杂志、平板电脑、手机媒体、电子阅读器。新媒介的数字化转向伴随着媒体形式的网络化和媒介内容的信息化。多模态素养正是在这样的时代背景下产生了。网络信息技术虽然方便了文字信息的获取与传播, 但也提供了一个文字之外的阅读、沟通和表达的过程,网络信息技术结合了文字和文字以外的声音、影像、气味、触感，甚至意念。它为人类提供了一种全新的认知经验,让人类重归全感观的认知体验。
随着网络科技的发展，以计算机为核心的多媒体技术、电子仿真模拟技术、虚拟技术、数字技术等高新技术不断走进教室，进入课堂，成为课堂教学中不可缺少的辅助工具。《全日制义务教育语文课程标准（实验稿）》指出：“应拓宽语文学习和运用的领域，注重跨学科的学习和现代科技手段的运用，使学生在不同内容和方法的相互交叉、渗透和整合中开阔视野，提高学习效率，初步获得现代社会所需要的语文实践能力。”①
（一）研究背景与问题的提出
1．读图时代：多模态的普遍性
读图时代不仅是现今仅有的，在我国历史上也曾出现过，清末民初，大城市迅速形成，市民阶层壮大，大众文化盛行，出现了石印的画页，随之产生画报。紧接着漫画，连环画也出现。这个时期，图的形式多种多样。这是电视媒体产生前的一个读图时代，也是一个纸质的读图时代。当今，随着电视网络，媒介信息
①
中华人民共和国教育部制订:全日制义务教育语文课程标准（实验稿）[S].北京:北京师范 大学出版社,2001.
4
技术的发展，“读图”赋予了更广泛的意义。图片不仅包括静止图片，还包括动态图片，甚至3D立体图片。并且在动态图片中还附带着声音。再一次，文化传播中的图像符号正在不断挤兑文字符号，日趋获得一种新的主导权，新的读图时代悄然来临。这个读图时代是大众文化盛行和网络科技发展的产物。读图时代，人们不再把语言当作唯一的意义表达手段，而是出现图画、照片、精美的布局等多模态特征。同时，人们也发现语言本身在表达层也具有多模态特征，例如语音、语调、文字符号。在把语言作为单模态的时代，语言被看作为主要的交际手段，其它模态则被认为是附属。但在读图时代，多种模态符号资源逐渐成为交际的中心，语言的地位逐渐发生着变化。人们不再仅仅使用语言文字交流信息，而是通过视觉，听觉等多模态的方式获取传递信息。
3D立体图片
2．Web2.0：学习交流方式的丰富
Web（互联网）2.0是相对于Web1.0而言，是新一类互联网应用的统称。Web1.0是由企业或政府在网上放置信息，人们只是网上冲浪，浏览信息。它是一种自上而下的、由少数资源掌握者集中控制着的互联网体系。到Web2.0时代，每一人都是信息内容的贡献者，是一种自下而上、由广大用户集体智慧和力量主导的互联网体系。Web1.0的模式只是读，基本构成是网页，而Web2.0的模式是写和共同建设，基本构成是发表或者记录信息。它使得网络用户不仅是网络信息的生产者，也是网络信息的消费者。Web2.0丰富了人们的交流方式，它的沟通交流功能主要有六大元素，即社会性网络软件，如博客、微博；即时信息，如QQ，MSN；社区论坛；电子邮件；聊天室；留言板。Web1.0是以信息为中心，强调信息的搜集，组织与应用，其核心是“信息”。而Web2.0是以人为中心，其核心是“人”。因此，Web2.0平台下，网络不仅仅是一个信息网络，更是一个人际网络，体现的是一种集体的智慧。Web2.0是开放——平等的关系；是参与——集体智慧；
5
是分享——学习型组织；是创造——创新文化。人们的学习交流方式更加丰富多样，体现在学校教育上则是一种合作互动交流的学习方式，师生可以通过或在线，或博客，或评论的方式进行分享互动学习。
表1 Web2.0技术与学习项目①
Web2.0技术的发展已经深深改变了学生的写作和文本制作的方式。学生创
①
钟志贤，汪维富 Web2.0学习文化与信息素养[J] 远程教育 2010(10):35
6
作文本需要了解设计的特征，例如布局，组合，使用文本或者图像，包括诸如颜色，尺寸，介质，角度等相结合来呈现给特定的观众。随着制作文本的复杂性，学生不仅需要能够使用新技术，还要考虑通过最佳途径实现自己的目的。例如，网络博客需要合适的屏幕布局，能够结合文本，图像，图形，照片，音乐。设计对博客是非常重要的，博客需要精心设计来更好地满足作者和观看者的互动。
3．教育大变革：信息化教育
当前，全球已进入网络信息时代，以多媒体和网络技术为标志的信息化浪潮席卷世界各地，并迅速改变着人类的生产、生活和思维方式，也改变着人们的学习教育方式。信息化已经给教育带来了巨大的变革。之前人类教育已经经历了四次教育大变革，即教师教育、文字教育、教科书教育和视听教育，现在正发生着第五次革命，即信息化教育。①信息化教育，从技术上看，是网络化、多媒体化、数字化和智能化。从教育上看，是教材多媒体化、资源全球化、教学个性化、学习自主化、任务合作化、环境虚拟化、管理自动化。②它打破了以学校为中心的教育体系，大量的教育资源得到共享，并实现人-机之间的双向沟通以及人-人之间的远距离学习，有利于教师和学生、学生和学生、学生和他人之间的交流学习。 在信息化教育环境下，教育者、受教育者、教育过程和教育环境都发生了质的变化。“师者，传道、授业、解惑也”的观点受到冲击，学生拥有的知识不一定比教师少，教师和学生之间“信息对等”，教师的工作重点发生着变化。教育信息化带来的变化不只是教育内容，还包括教育观念、手段、模式等的变化。在信息化教育方式中，教育过程变得更加丰富，学生可以通过视、听、触、嗅等多种感官接受教育信息。
4．问题的提出
在现行的语文课程体系中，仅仅注重的是向学生传授语文知识以及训练听说读写基本能力。以读写为主的传统识读能力在信息技术日新月异的今天已不够学生来面对日益变化的社会。青少年每天都在接触大量的媒体信息以及流行文化，面对这样大众文化现实的挑战，世界许多发达国家都已经开始了这方面的教育研
①②
雷钢，教育信息化视野中的视频资源创建与利用，成都：电子科技大学出版社，2010年版第5页 祝智庭，现代教育技术——走向信息化教育[M].北京：科学出版社，2002年第258页
7
究，而国内至今比较缺乏这方面的研究与实践，甚至还未能引起对这方面的足够重视。因此，面对数字化生存方式迅速发展，学生需要什么样的素养来发展自己，适应社会。多模态素养这个概念是基于高科技信息化时代，特别是视听技术的发展提出来的，
对于信息化时代的学生，科技是自然的一部分。学生生活在媒体时代，媒体信息随处可见。但当学生进入课堂，如果只有板书和讲解，他们会觉得枯燥乏味，与生活脱节。学生通过媒体可以思考分析事物，可以去实地考察，见到从未去过地方的风景，甚至可以和宇航员对话。那么，教师如何改变教与学的方法，如何创造机会，制造学习氛围？学生需要具备什么样的素养？叶圣陶先生曾说，第一须认定国文是儿童所需要的学科，第二须认定国文是儿童发展心灵的学科。可见，语文课的重要性，对学生心灵发展的重要性。随着时代的发展，学生所处的环境发生变化，学生的心理也发生变化。特别是在这样一个信息复杂混乱，多元文化，多种价值观并存的社会，语文学科如何让学生来应对，如何发展心理，如何来发展信息时代所需要的读写能力，如何来满足学生终身发展的需要？笔者基于这样一个思考，结合国外的教学理论，找到了多模态素养，希望能给当前以及今后的语文教育带来一点借鉴意义。
5．思考：信息技术教育能否代替？
多模态素养是在信息社会环境下提出来的，那么信息技术教育能否代替语文课程来发展学生的多模态素养？2003年4月，《普通高中技术课程标准(实验)》的出台标志着我国高中“计算机课程”正式提升为“信息技术教育课程”，课程目标由掌握“计算机技术”转化为公民“信息素养”的培养。新课标要求教材要将信息技术的发展、创新与应用包含人文精神，使学生辩证地认识信息技术对社会发展与日常生活学习的影响，还要求学生能够基本掌握信息价值判断的方法，学会鉴别信息，养成负责任地、健康地使用信息技术的行为习惯。但是从现行的信息教材来看，没有判断信息真伪等相关的人文内容，离培养信息素养的目标还有很大一段距离。从国际课程结构的调整来说，信息技术己经不再是一门独立的学科出现在学校的课程体系中，而是有机地融入到几乎所有的科目中，成为培养学生学习能力的一种重要手段和所有课程内容的支撑点。因此，信息技术教育不能代替语文课程发展学生的多模态素养，而是应该作为一个必备的技术基础。
8
（二）研究现状
1．国内有关多模态的学术研究
多模态素养是引用国外概念，就笔者所搜集到的资料来看，国内基本上没有研究多模态素养的文献。但是对多模态，国内学者还是有一些研究。从中国知网上检索关键词“多模态”，共有2215篇论文，从万方数据库检索多模态，总共检索到2295篇论文。多模态的研究分布在各个领域，主要分布以及年份趋势如下图。
多模态在各学科研究篇数分布图工业技术语言文字文化经济医药生物航空航天交通运输182167102363363篇数1241
多模态研究年份分布40030020010001995年1996年1997年1998年1999年2000年2001年2002年2003年2004年2005年2006年2007年2008年2009年2010年2011年
从表中可以看出，多模态广泛运用于科技和人文两大领域，主要运用在工业技术，其次是语言文字和文化经济。同时随着时间的发展，人们对多模态的研究越来越重视，特别是近多模态研究的篇幅大幅度递增。在多模态教育方面，笔者
9
在中国知网上主题搜索“多模态教育”，“多元识读”，共查到249篇文章。在万方数据库上搜索“多模态教育”查到385篇。篇数较少，说明国内对多模态教育的研究不多，这说明本研究有一定价值，同时也增加了难度。现将搜索到的文献做一个梳理。
从研究的视角上，国内的研究一是从社会符号学的视角讨论多模态。胡壮麟的《社会符号学研究中的多模态化》，探讨了符号系统中的符号资源和以屏幕代替书本的多模态符号的设计，以及由话语参与者实现的连贯系统。裴晓娜的《多模态话语的社会符号学分析》揭示了文字与图像共同作为社会符号的表意功能。范洪涛、项春娜、杨洪玉等人也分别从社会符号学的角度探讨了多模态。二是从系统功能语言学的角度来探讨多模态。杨信彰的《多模态语篇分析与系统功能语言学》说明了系统功能语言学理论在多模态语篇分析中的作用，强调了多模态语篇分析应重视语言和其他模态之间的密切关系。王正的《功能语言学视角下的多模态语篇符号间的衔接研究》中以功能语言学理论为基础，对多模态语篇中视觉符号和文字符号之间的衔接关系进行了总结和扩充。
从研究的内容上来看。第一，把多模态和话语分析相结合。国内多模态的研究主要集中在多模态话语分析上。李战子的《多模式话语的社会符号学分析》开创了我国研究多模态话语分析理论的先河，此后，胡壮麟（2007）、朱永生（2007）、张德禄（2009）等学者从不同角度丰富了多模态话语分析的内容。主要的研究内容包括多模态话语相关理论的探讨；多模态话语分析理论在文本中的应用，如用多模态理论分析教学课件、诗歌、小说、电影等；对国内外多模态话语相关研究的介绍和评论等。第二，多模态和多元识读相结合。多元识读发源于新伦敦小组，他们主张改造现有的语篇和设计新语篇，培养学生的科技、媒体、文化、政治和批评性读写能力，以帮助学生应对文化多元化，人类表达方式、思维方式的多样化。我国学者借鉴吸收了这种理论，也有一些相关的研究。吴林的《多模态化教育环境下的多元识读能力培养研究》认为，多模态化教学的核心思想是培养学生的多元识读能力。胡壮麟(2007)，顾曰国(2007)，朱永生(2008)，韦琴红(2009,2010)，王惠萍(2010)，张义君(20011)等。他们对多元识读能力的发展也提出了一些实践建议。第三，多模态运用于学科教学。主要集中在英语教学上，包括听力教学，口语教学，阅读教学，写作教学，翻译教学中的应用以及在多模
10
态课件制作方面。语文文学方面，主要是童艳丽的《多模态符号学视角下的格律诗欣赏》一文，该文以多模态符号学为理论依据，对李商隐的《无题》进行了多模态化分析，构建了格律诗的多模态话语分析框架。蒋德志的《多模态意义视角下对<声声慢>的解读》运用多模态的视角，对李清照的《声声慢》进行了音律性和意象性的多角度赏析。并指出多模态语篇分析方法为我国古代诗歌的鉴赏和研究提供了一条新的路径。
从以上的一些文献梳理我们可以看出，国内对多模态的研究还只停留在理论研究的介绍和阐述上，教学方面大部分是英语学科，在语文方面还只是对一些古代诗歌进行赏析。
2．国外多模态素养研究概述
国外对多模态素养的研究主要集中在英国，美国和澳大利亚。1949年9月，来自美国、英国和澳大利亚的11名语言学家在美国新罕布什尔州的新伦敦(New London)召开了为期5天的会议，“新伦敦小组”(Now London Group)由此得名。他们提出了多元读写这个概念。他们认为，随着信息技术的快速发展，人类每天不仅要接受印刷品、图象、录像带等多种形式传递的知识，而且还要通过同样复杂的方式向来自世界各地的各种各样的人传递知识。应该把培养学生的多元读写意义的能力放到极其重要的位置上。1995年6月29日至7月2日在顿斯威尔(Townsville)召开了“与学习有关的读写和教育研究网络会议”，并在《哈佛教育评论》(Harvard Educational Review)上发表了“多元读写教学法:设计社会未来”(A Pedagogy of Multiliteracies: Designing Social Futures)，其主要内容是针对学校的读写教育可能选择的方向提出了一系列的假设，以帮助学生能在不久的将来适应急剧的社会变化，迎接经济全球化、语言文化多元化和交际技术多样化的挑战。新伦敦小组的研究让人们认识到科技对教育影响的重要性，教育学者们开始重新考虑在科技环境中成长的学生所具备的素养，可以说新伦敦小组为多模态素养开启了一个前奏。Jewitt和Kress加入符号和艺术的元素，认为交际的形式不仅可以通过文字符号，还可以通过图像、声音、颜色等方式，进而提出了多模态素养这个概念。多模态素养被一些研究新素养的学者们所倡导。新素养是一系列的数字处理能力，比如使用手机和电脑在线、发信息。新素
11
养通过字母、符号、颜色、声音和图形等多种方式来扩展我们的交流。他们认识到文本的复杂性，以及这些文本要在在不同的情景，为不同的目的，被不同的人所阅读。他们挑战传统的文字读写能力，这些学者认为素养必须是一个动态的过程，而不是塑造或者重塑社会文化资源。
多模态素养的研究以澳大利亚政府最为关注，澳大利亚政府出台了两个方案，一是数字教育革命（the Digital Education Revolution），二是澳大利亚英语课程发展草案（the development of a Draft Australian Curriculum for English），及时响应了数字交流技术对传统读写教育的挑战。数字通信的快速发展为阅读和写作提供了更加多样的设施，使阅读和写作加入了更多的元素，比如图像，照片，声音，电影。在草案中还涉及到学生阅读和创造多模态和数字文本的重要性。2008年Maureen Walsh在悉尼9所小学做了一个关于教室中多模态素养的研究。研究的目的在于调查学生在阅读和创造多模态文本时所需要的素养，找出把传统印刷文本和数字技术相结合的最合适的教学方法。研究的成果包括课堂观察的数据，照片和视频文件的日记，教师的计划，报告和总结，学生的印刷和数字作品以及学生对学习的评价。这项研究为教师和学生从事数字交流学习提供了一些具体的方法和例子，并得出两个结论：一是听说读写的性质在数字技术环境下逐渐反正变化，二是数字交流技术改变了学习和教学的方式。
（三）研究的目的意义
1．适应语文教育现代化的要求
早在上世纪八十年代初，面对“相当大的一部分中学毕业生语文没有学通”的现状，面对知识爆炸和传统思维方式本身所固有的相对稳定性的矛盾，张志公先生曾一针见血地指出：“语文教学之所以有那么多问题，和我们在教材工作教学工作中一切‘率由旧章’不无关系。”准确击中了以传统思维方式为支撑的旧的语文教育思想的要害。并且他大声疾呼：研究中学语文教学在思维方法上“首先要有开阔的视野”。到九十年代初，更鲜明地提出：“要跟着时代潮流走，也未尝不可以超前一些。”①实际上，张志公先生提出了转换思维方式、转换价值观念
①
王本华．重读张志公·走进新课标 语文教育现代化[M]，湖北教育出版社2004 .1
12
的任务，确立了现代思维方式在探寻语文教学规律上的方法论地位。那么如何进行语文现代化？张志公先生主张借鉴国外的教育经验，看看外国在训练学生掌握本国语文方面采取了哪些有效的方法。
2．加强语文学科与生活的联系
“语文学习的外延与生活的外延相等”已被广大语文教育者所接受，新课程改革也积极倡导语文学习要和生活密切结合。那么，如何与生活结合，生活是一个抽象概念，生活无所不包，生活又是在不断变化并且随时会加入新的内容。现在学生的生活离不开电视媒体，离不开铺天盖地影像图画信息。语文学科要紧密联系学生的这种生活，不落后于学生的生活更要为学生的生活服务。可以说，多模态素养为语文学科与生活的联系提供了一条路径。
3．为语文学科培养学生多元思维和批判性思维提供路径
语文不像数学那样，答案只能有一个，语文的答案可以是丰富多样，特别是写作。语文的思维可以说是多元的，也必须是多元的。因此，需要培养学生用多角度看问题的眼光。同时要形成自己的思想，这就需要批判性思维。在我国古代，士大夫的“素养”主要是通过修习，内省来获得，而现今社会是一个高科技不断发展的社会，国际形势复杂，呈现多元化发展，多种文化多种信息不断袭击着人们的眼球。而青少年处于人生发展的关键时期，需要正确引导。多模态素养为培养学生的多元思维以及批判性思维打开了一条路径。
（四）研究内容与方法
1．研究界定和研究内容
多模态素养是英文Multimodal Literacy的中文翻译。Multimodal国内文献一般翻译为多模态，多模式，复合模态。其中Literacy国内期刊文献存在两种翻译，一种是读写，识读。另一种是素养。本研究中将Literacy翻译为素养。
语文课程中的多模态素养是学生在学习多模态文本时所需要的一些素养，因此，本研究的思路主要是在解析多模态素养概念的基础上，探讨多模态文本的学习和多模态文本教学，最后分析多模态素养给我国语文教育的启示。
2．研究方法
13
本研究主要涉及文献研究、内容分析法、逻辑归纳法。
运用文献研究和逻辑归纳法对国内、国外有关多模态的研究进行梳理归纳。 内容分析法。选取新课程标准和人民教育出版社的中小学新教材进行多模态成分的内容分析。
14
第二章 多模态素养概述
谈到“多”，对应的是“单”，“多”，就是不只一种。多模态可以理解为几个单模态，多模态素养可以理解为多种素养，其中包括了“模态”这个内涵。由于多模态素养这个概念是引用国外的词汇，比较生僻拗口，我们首先就要理清楚什么是模态，多模态为什么和素养联系在一起，多模态素养的内涵是什么。
（一）多模态的概念
1．模态的含义
汉语中“模态”一词是英语形容词modal的音译，相应的英语名词是modality或mode，含有样式，程式的意思。对于“模态”这个术语，目前主要存在着三种理解。第一种是把它理解为感觉器官，主要是人类通过感官与外部环境互动。人类总共具有五种感觉能力，视觉、听觉、嗅觉、味觉、触觉。【注:视、听、嗅、味、触五个感官是传统的分法，据Encartar百科全书（微软电子百科全书）2006版，现代医学发现还有15个感官，这里列举的感官是针对学习的一般情况而言的。】因此成为五种模态，即视觉模态、听觉模态、嗅觉模态、味觉模态、触觉模态。感觉器官在大脑中具有各自的司管区域，现代脑科学发现人体感官有20多个，它们都受大脑支配，并不一定都要通过体表器官而发挥功能。顾日国①认为模态指人类通过感官
感官与模态
感知 视觉 听觉 触觉 嗅觉 味觉
①
感觉器官 眼睛 耳朵 皮肤 鼻子 舌头 模态 视觉模态 听觉模态 触觉模态 嗅觉模态 味觉模态 顾日国.多媒体 多模态学习剖析[J].外语电化教学,2007(4): 3.
15
感官模态在大脑中的分布①
(如视觉、听觉等)跟外部环境(如人、机器、物件、动物等)之间的互动方式。在科学应用领域中，模态不仅仅指人体器官，它已被延伸指与人体器官类似功能的装置。比如，一台电子感应设备就是多模态的，它可以通过振动、声波、摄像等扑捉信息。第二种是把模态作为一个语言判断，即英语语法中的“情态”，指的是关于世界的陈述的真值性或信度问题。韩礼得认为，“情态”指“是”与“否”之间的意义范围。逻辑学也研究模态，即模态逻辑。含有模态词的命题是模态命题，研究模态命题及推理的逻辑就是模态逻辑。第三种是把模态作为一种符号，多用于语篇分析领域。在语篇分析领域中，它指的是形态或者符号形态，不同的符号形态都表示一定的意义。本研究取用第三种，把模态作为一种符号。
Kress和Van Leeuwen认为模态是实现话语和交流的符号资源。②Jewitt认为模态指任何有组织、有规律的表现和交流方式。如图像、手势、姿势、言语、音乐或者由这些元素构造的新形式。③Norris也认为模态是符号资源④，但她反对把模态概念具体化，认为把模态概念具体化是对模态概念缺乏了解的结果。在
①②
Weston,Trevor.Atlas of Anatomy[M].London:Marshall Cavendish Books Limited,1992.64. Kress, G. & van Leeuwen, T.Multimodal Discourse: The Mode and Media of Contemporary Communication[M]. London: Arnold, 2001:21-22. ③
Norris. S.Analyzing Multimodal Interaction: A Methodological Framework[M]. London: Routledge, 2004: 152. ④
Jewitt, C. Multimodality and new communication technologies[A]. In O’Halloran, K. L. (ed. ).Multimodal Discourse Analysis[C]. Lon-don and New York: Continum, 2004: 184-195.
16
历史发展中，模态已经获得了意义的，成为一种宽松的概念。因此，模态是一种开放、启发式的概念，一种分析工具。国内，胡壮麟教授认为模态是可对比和对立的符号系统。①朱永生认为模态是交流的渠道和媒介，主要包括语言、技术、图像、颜色、音乐等符号系统。②
模态作为一种符号，它是传递信息，实现交流的一种渠道。它是包括了文字、图像、声音、颜色、手势、动作等一切表达意义的符号系统。正如符号能够表达意义，模态也具有表达意义的潜势。文字、图像、声音、颜色、手势、动作等经过社会长时间的塑造，成为能够产生意义的资源，成为一种模态，能够表达不同人群所要求的意义。但是，模态是社会塑造出来的，它具有社会性和文化性，因此，非内部人群不能全部懂这些意义。这就需要学习来理解这些模态意义。同时，在信息传递环境下，文字、图像、声音等往往交织在一起，同时传达意义，这就形成了多模态。
2．多模态的内涵
弄清楚了模态的意义，多模态就不难理解。所谓多模态，就是两个或两个以上单模态——文字、图像、声音、色彩、手势、动作、空间等意义的整合。但绝不是两个或两个以上单模态固定不变意义的简单相加，比如文字意义加上图片意义。事实上，它是一种乘法，成为一个整体的多模态远大于各部分简单相加之和。例如，文字意义通过图像得到补充变得更加丰富，图像意义通过文字描述更加完善。在相互依存的模态元素之间，每一种模态都含有个体意义，同时结合其它模态元素后含有更多的意义。对于多模态的含义，国外学者也有一些阐述。Mills认为多模态涉及两种或两种以上模态结合来表达意义——语言（书面文字），图像，声音，手势和空间。③他还提到一个多模态实践的例子就是青少年参加的社交网络。青少年设计他们的Facebook（社交网站）个人资料，包括撰写文字信息，分享照片和视频，发送即时消息，在他们的“墙”上发布微博，为他们的朋友设计生日卡片。
多模态的内涵体现了一种全新的思维方式，突破了传统交流中语言占主导地
①②
胡壮麟.社会符号学研究中的多模态化[J].外语教学与研究,2007(1): 2-3. 朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊,2007(5) :83. ③
Shrek Meets Vygotsky: Rethinking Adolescents’Multimodal Literacy Practices in Schools[J]. Journal of Adolescent & Adult Literacy,2010(9):33-45
17
位的思维定式，它把图像，声音，动作等所有表达意义的模态符号看成是与语言符号地位平等的符号资源，在社会交流实践中共同传达意义。当然，这与视听技术的快速发展，信息传播手段的多样化，人们获得信息多渠道化不无关系，仅靠语言来传达意义已经不能满足人们多元交流和学习的社会现实。
说到多模态，有必要谈一下多媒体，二者有一定联系，也有区别。模态用某种媒体表达意义，媒体是物质手段，模态是符号意义。媒体是传播信息的媒介，也就是传播信息的载体和平台，按照出现的顺序：报纸刊物是第一媒体；广播应为第二媒体；电视是第三媒体；互联网是第四媒体；移动网络是第五媒体。第四，五媒体也被称为新媒体。多媒体是计算机和视频技术的结合，使用的媒体包括文字、图片、照片、声音、动画和影片，以及程式所提供的互动功能（来自维基百科）。可以说，多媒体的发展特别是新媒体的发展促进了模态意义的挖掘，没有多媒体技术的不断创新，人们还只停留在语言模态的运用上，其它模态也不会受到重视。
（二）多模态素养的概念
1．概念提出的依据：素养含义的变化
“素养”是从“识字”(literate)派生出来的，“识字”是从“文学”(literature)派生出来的，第一次使用“素养”这个术语的，据OED(Oxford English Dictionary)记载 ，是1883年马萨诸塞州教育委员会发行的一本教育杂志《新英格兰教育杂志》。①“素养”这一术语是伴随着公立学校制度的整顿而问世的，它意味着学校教育所处理的是公共的知识和技能。可以说，它是表述准备参与公共生活世界的学校教育的共通知识的概念。②素养在《辞海》中的解释为：①经常修习的涵养，也指平日的修养。如:艺术素养；文学素养。②平素所豢养。③这里提到涵养，修养，它们的含义分别为:修养:①指在政治、思想、道德品质和知识技能等方面经过锻炼和培养而达到得一定水平。如政治修养，文学修养。②特指逐渐养成得在待人处世方面得正确态度。④涵养:①身心方面的修养。②滋润养育。⑤还有一个
①②
转引自http://www.harwich.edu/depts/lmcelm/literacy.html
佐藤学著，钟启泉译.课程与教师.教育科学出版社.2003年6月第88页 ③
辞海 上海辞书出版社 1999年缩印版，第1479页 ④
辞海 上海辞书出版社 1999年缩印版，第292页 ⑤
辞海 上海辞书出版社 1999年缩印版，第1158页
18
词语素质意思也相近，其含义为:①人或事物在某些方面的本来特点和原有基础。②人们在实践中增长的修养。如政治素质、文化素质。③在心理学上，指人的先天的解剖生理特点，主要是感觉器官和神经系统方面的特点。是人的心理发展的生理条件，但不能决定人的心理内容和发展水平。某些素质上的缺陷可以通过实践和学习获得不同程度的补偿。①比较它们的意思，“素养”处于最基本的层次，是人们经过学习和锻炼达到得一定水平，便形成了“修养”；而当进一步内化，入及身心，就形成“涵养”；而最后融入便形先天基础中就行成“素质”。《牛津词典》解释为：读写能力的素质与状态；段文识字的能力；与受教育相关的必备条件。②可以说，素养就是一种在听说读写方面所养成的能力，或者说通过学习具备听说读写或相关知识的状态与品质。③简单来说，素养就是一种读写能力。但是读什么，写什么，以何种方式读，以何种方式写，以及在读写过程中的思维是怎么样的，它的内涵和外延发生着变化。
素养(Literacy)一词早期是用来描述人阅读报纸杂志识字能力的高低，同时也指具有某种技能或知识的累积，或者世界观的统称。最初，素养这个概念多与印刷媒体有关。文字自出现以来，便是人们参与社会生活必须具备的基本能力，它通常是学校教育最主要的内涵。在电子媒介出现以前，素养总是被局限在与印刷媒介相关的领域中；在电子媒介出现之后，它还指人获取、分析、衡量和传播信息的能力。正如Graff指出的，素养是一个持续变动的概念，信息时代中的素养应该是“个人与外界做合理而有效的沟通或者互动所需具备的条件”。素养已经不再仅仅局限于传统印刷文本的阅读与写作。在印刷术发明发明后的几百年间，所有的素养概念几乎都与文字有关，文字文献积累与文字思维、表达能力等成为素养的主体。独尊文字素养对全人类文明有着十分重要的影响。近一个世纪以来，素养的概念发生了巨大的变换，除了文字素养以外，视听技术带来的新情况、新问题逐步得到人们的重视，素养的内涵与外延都得到拓展。美国学者奥尔森（D.Olson)指出，如果素养的概念只局限于对文字符号的掌握，或者只强调对文字所叙述的事实加以了解，那么，这样将会使语言与知识的互动性变得越来越 狭窄。④当今社会，信息量急剧地增加，已经由政府高度集中转向更为宽泛的民
①②
辞海 上海辞书出版社 1999年缩印版，第1479页
牛津高阶英汉双语词典（第七版）[M]．商务印书馆，牛津大学出版社,2009.1672. ③
陈龙．媒介素养通论[M]．长沙：中南大学出版社，2007(5):1 ④
D.Olson，The Language of Instruction：On the Literate Bias of School．In R．C．Anderson＆
19
众参与。现在通过使用新的科学技术，人们产生、传送和接受信息的方式已经多样化。尽管阅读和写作仍然是知识的基础，但是素养在这个时代不仅仅是阅读和写作的能力；它要求一系列复杂的技能：获取，分析，综合，评估以及在多种模态中使用信息。使用这些素养能够有助于学生学业和生活的成功。一个有素养的人，必须能够阅读和创造纸质和网上文本，参加使用虚拟的设置，使用交互和动态的网络工具，批判地分析多模态文本，整合图像的，音乐的，影视的，数字的等一些新的素养。因此，我们必需重新思考21世纪素养的构成。
新的技术改变了素养实践活动，增加了很多新素养。但它与传统的素养实践活动目标保持一致。素养的核心是读写能力，但是代表知识公共领域的素养必然会随着时代发展而产生新的形式。素养范畴也形成一些专门领域，如媒体素养、信息素养、视听素养等等。这些新素养融入学校教育中会对学校教育产生一定的影响。媒体素养教育起源于20世纪20年代末的流行文化教育，主要是指报刊、小说和电影。60年代以后，电视成为了影响人们的主要媒体，电视素养、视觉素养成为学者研究的热点问题。70年代，图书情报领域指出要培养学习者的信息素养，它旨在提高人们对于图书情报资料的搜索能力。随着文献资料的电子化、数据库化，人们必须学会使用电脑和网络来搜索所需的信息，因此信息素养与网络科技相结合。80年代初，人们开始关注计算机素养的培养。同时，信息技术飞速发展，学者开始对“信息社会”的研究，A.托夫勒于1980年出版了《第三次浪潮》，阐述了社会面临“第三次浪潮”的深刻变化:S.诺拉和A.孟克于1980年作了法国社会信息化的报告，讨论了信息化社会的社会模式、结构和信息化政策。1982年，J.奈斯比特提出了社会发展的大趋势:世界在以“工业社会”转变为“信息社会”。1988年马丁发表专著《信息社会》。信息素养逐渐成为信息社会、信息时代的素养的基本标志。信息素养的外延不断扩展。90年代，网络科技急速发展，人们又提出了一个新概念：网络素养。这些素养都是区别于传统素养，而称之为新素养。而多模态素养正是作为一种新素养产生的。新素养是一系列的数字处理能力，比如使用手机和电脑在线、发信息。新素养通过字母、符号、颜色、声音和图形等多种方式来扩展我们的交流。最后，Jewitt和Kress提出了多模态素养这个概念。
W．E．Montague(Eds．)，Schooling and the Acquisition of Knowledge，Hillsdale，NJ：Lawrence Erlbaum．Asspciates，pp．75-86
20
2．多模态素养的内涵
多模态素养是多种模态交流的综合。这种交流能够引起单一模态向包含新意义或者多种意义模态的转变。上文谈到多模态是包括文字，图像，声音，动作等符号意义的整合，那么多模态素养也和这些有关。影像（包括书面语，图像，手势，音乐，数字等），媒体和语言系统有着千丝万缕的联系，它们共同组成信息，能够传送，阅读和解释，帮助人们去表达自己的内心想法以及实现更好的交流。素养不能和影像、媒体、语言系统分开。但是，素养不能像语言系统那样，被测试和训练，它不是也不能简单地用另一种影像加在传统印刷文字上而叫它多模态素养。多模态素养是一系列元素的综合，它囊括了艺术、新媒体和21世纪新素养三个方面的内涵。新媒体和21世纪素养是上文已经谈到，为什么会包含艺术？我们知道艺术涉及到视觉、声音和表演，它是多模态的形式。语言文学本身就是一种艺术，而且，语文课程日趋丰富多彩。国际上的语文课程就不仅仅包括语言文字，还包含了戏曲，媒介，影视等方面，国内的语文课程也不断引进和丰富，戏曲课程，电影课程，综合艺术课程等不断走进中小学。
因此，多模态素养包括如下几个方面：信息素养、视觉素养、多元文化素养，媒体素养。信息素养是能够高效地获取信息，批判地评价信息，并创造地使用信息，能够选择所需要的信息，综合使用信息以及使用信息技术，网站，电子资源来完成这些功能。信息素养(Information literacy)最早是由美国图书馆与信息科学主席Zurkousski提出来的。1989年，美国图书馆学会(American Library Association)信息素养总统委员会(Presidential Committee on InformationLiteracy)分析了信息素养的四大要素：辨识(recognize )信息需求、找出所需信息的出处(locate )、评估(evaluate)信息及利用(use )信息。①美国信息素养国家论坛(National Forum on Information Litcracy )公布，由威斯康辛教育媒体学会(Wisconsin Educational Media Association ) (1993 )
②对信息素养作出了简要定义“解决问题的技巧”。视觉素养（Visual Literacy）,
John Debes在1966年最先使用这一学术概念。③视觉素养是有一定的视觉思维，
①
Inforniation Literacy Competency Standards for Higher Education, 17 Apr. 2001, htto://www. ala. orx/acr1八lccmstan. html ②
“Directory of Online Resarrces for Irrfoxmation Literacy: Definitions of Information Literacy and Reaped Terms, 7 June 2000, http://www. cas. usf/lis/definitions. html ③
John L. Debes and Clarence M. Williamsi.Some History Of Visual Literacy, http://www. asu. edu/lib/archives/vlhist. html
21
能够观看静态或者动态的图像，并能够分析，运用和创造。具备视觉素养的人能够解释分析视觉行动、视觉物体以及视觉符号并能够创造性地使用这些能力。多元文化素养是承认，对比和欣赏不同文化间信仰和价值观的相同点和不同点。媒体素养是在多种媒体形式中获取，分析，评估信息。它以调查为基础，鼓励人们就关于他们看到或者读到的内容提出一些问题。
在这些素养中，多模态素养是以信息素养为核心，以媒体素养为基础，以视觉素养为工具，以多元文化素养为价值标准。它们之间有相互重合的部分，比如信息素养和媒体素养，视觉素养和媒体素养。虽然有相似部分但是不能被取代。那么多模态素养是否可以被媒体素养，视觉素养或者信息素养取代呢？我们说媒体素养，信息素养都是一种抽象的概念，而多模态素养显得更为具体，它依赖于信息网络技术，强调动用多种感官，以多种方式来取向和呈现信息。
3．语文课程中多模态素养的内涵
语文课程中的多模态素养是学生学习多模态文本过程中所使用的素养，它包含在一系列能力之中：使用网站电子资源学习的能力；对学习资料搜集归纳能力；对静态或动态图像分析、运用和创造的能力；制作文字融合图像、声音等多种媒介共同表达的能力；批判媒体信息的能力；对多元文化包容的能力等。语文课程中的多模态素养涉及到意义的生成，出现在学生通过阅读，观看，理解，回应以及创造多媒体和数字文本的过程中。这一过程学生需要具备多模态素养，包含了信息素养、媒体素养、视觉素养、多元文化素养等多种素养的融合。多模态素养认为对许多学生而言，知识结构已经发生改变。学生平时阅读和创作的文本也发生了变化，由文字文本向以声音和图片为支撑的多样性文本转变。并且，知识结构更加社会化，更加依赖于情景文本。正如Kathy A. Mills所说：“这是一个多媒体作者时代，尽管阅读书面语的能力还是非常重要，但是已经不再是参加生活
①中许多意义活动所必需的全部。”这就意味着教师应该由传统素养的训练向基于
多模态文本介绍的转变。例如：卡片，书籍，电影，网站，录像节目等。②基于两种原因，一是多种模态已经深深融入到社会交流中，因此，应该利用学生校外
①
Heydon, Rachel M.“Making Meaning Together: Multi-Modal Literacy Learning Opportunities in an Intergenerational Art Programme.” Journal of Curriculum Studies 39.1 (2007): 36. ②
Cordes, Sean. “Broad Horizons: The Role of Multimodal Literacy in 21st Century Library Instruction.” Proceedings of the World Library and Information Congress:75th Annual IFLA General Conference and Council, 11 August 2009, Milan, Italy. Web. 1 Jan. 2011.
22
的素养帮助他们的课堂理解。二是，我们认识到并不是所有的学生都精通多模态。
①
（三）理论基础
1．社会符号学
世界是由符号构成的，万事万物都可以看作是符号系统中的某一个符号。人类对符号的研究有着悠久的历史，古希腊哲学家柏拉图和亚里士多德对符号都有自己的研究。20世纪瑞士语言学家索绪尔提出“语言是一种表达概念的符号系统”，索绪尔语言学的一个重要思想是要建立科学的符号学，他说，“语言学不过是这门一般科学的一部分”，②语言学研究的重要对象正是符号与符号之间的关系，并指出“符号在本质上是社会的。”③但他只是观察到符号是社会的，并没有做过多阐释。美国哲学家查尔斯·皮尔士(Charles Peirce)对符号科学作了全面的阐述，认为符号或表现是某种对某人来说在某方面或以某种能力代表某事物的东西。④按照他的观点，我们进行思维或者获取知识都应该被视为一种无限制相互联系的符号网络。此后，英国语言学家韩礼德明确提出了社会符号学。他认为符号学应该是研究符号系统，也即通常所说的意义，意义系统通过符号对外起作用，但是其系统内部并不是孤立存在，而是一张张关系网。而在任何文化中，表达意义的方式多种多样，音乐、绘画、舞蹈等文化行为模式都是意义的载体。从这个意义上来说，语言只是表现社会符号学的诸多方式当中的一种。⑤并主张用社会符号学观点研究语言，认为语言这一符号系统是在社会中产生发展的，语言现象的本质是社会现象。此后，师从韩礼德的美国语言学家冈瑟·克雷斯（Gunther Kress)发展了其导师的观点，认为意义还存在于其它符号系统中，存在于视觉、听觉、行为或其它代码中，孤立研究一种代码是远远不够的。因此，研究语言应该是一种研究在社会中构建并被视为是社会实践的一切符号系统（包括视觉、听觉、动作行为）。这便是社会符号学理论。
从这个理论中，我们可以看出，语言只是社会符号当中的一种，我们还要考
①
William C． Sewell and Shawn Denton. Multimodal Literacies in the Secondary English Classroom[J]．English Journal ，2011 (5) ：61–65． ②
费尔迪南·德·索绪尔 普通语言学教程 高明凯译 北京：商务印书馆1980年版，第38页 ③
Saussure,F.de.Course in General Linguistics.(Edited by Bally,C.＆Sechehaye,A. And translated by Baskin,W.) London:Peter Owen Ltd,1959:6-8. ④
王铭玉.《对皮尔斯符号思想的语言学阐释》[J].解放军外语学院学报，1988(11):1-6 ⑤
胡壮麟 朱永生 张德禄 李战子《系统功能语言学概论》[M]．北京：北京大学出版社，2005:9
23
虑其它符号的表意功能，共同来传达信息，实现交流。我们可以把语言是社会符号这一理论推广到其它模态中使用。社会符号注重社会实践，社会交流，而社会实践，社会交流是建立在符号意义生成的基础上的，那么任何意义，包括由视觉、听觉、触觉等获得的意义，包括文字、图像、颜色、动作等形成的意义，都应该纳入它的研究范围，这样就形成了多模态符号化的表达方式。既然文字、图像、颜色、动作都能表达一定的社会意义，那么它们都可以被纳入到各种各样的信息和文本中。随着网络科技的不断发展，各种交际工具的不断涌现，人们也逐渐认识到它们的表达意义，借助于图像，动作，声音，表情更能传递人们内心的思想和感情。比如现在流行的微博，文字中附带图片，甚至附带各种搞怪的表情。反映在学校教育中，课堂出现了多种多样的学习材料，比如图像的，声音的，视频的。甚至课本中出现了更多的插图。通过这些图像、声音，学生更直接地接受意义，获取知识。
2．双重编码理论
双重编码理论是由加拿大心理学家艾伦·佩维奥(Allna Paivio)提出。佩维奥认为人类有两个专门负责信息的编码、组织、转换、存储和提取的表征系统：言语系统和非言语系统（也即心象系统）。言语体统也即言语编码系统，专门处理言语码，表征言语信息。非言语体统也即心象系统，专门处理非言语码，表征非言语信息。言语码和心象码分别是言语系统和非言语系统的基本表征单位。言语码是言语生成器，它既可以被外部刺激激活，又可以被言语系统内部的其它言语码激活，同样，心象码也可以被外部和内部心象码激活。无论是言语码还是心象码，都具有形式的多元性。根据不同的感觉通道，言语码和心象码的形式可以是视觉的，听觉的，触觉的。另一方面，言语码和心象码之间能够相互激活，产生联系，转换和转译。但这种相互激活，联系，转换和转译并非很容易发生，需要进行参照加工。人们研究双重编码得出，图形的记忆好于文字，也即图形优先效应；图形的生成语义要比文字生成语义快；在心象码到文字码的转换过程中，语音起到很大的作用；对同一个词语，声音形式比文字形式更容易形成言语码。
我们知道，左脑负责文字部分的内涵加工，右脑负责图形部分的内涵加工，双重编码理论的一个重要原则是试图以左右脑同时对同一事物进行认知加工。这
①
①
Paivio.A. Mental Representations:A dual coding Approach. New York:Oxford University Press,1986:34-66
24
样同时以文字和图像形式呈现信息，能够增强记忆和识别。双重编码理论为我们认知事物提供了双重角度，不仅仅要关注书面语，更要关注图形，声音等其它多种模态。调动多种感官，使用视觉和听觉材料更有助于记忆和理解阅读材料。在学校教育中，随着视听的发展，人们也逐渐认识到非言语系统的重要性。网络媒体的发展也为学校教育开发学生的非言语智力提供了物质条件。多模态素养就是要充分利用学生的言语系统和非言语系统来完成学习任务。
3．多元智能理论
多元智能为学生的多模态素养提供了一个先天的物质基础，多元智能是先天存在的，但是要发挥这些智能的作用智能依靠后天的培养教育。多元智能是多模态素养存在的一个基础，但是多模态素养也绝不等同于多元智能。多元智能强调的是人先天具有多种智能，而多模态素养则是后天经过学习锻炼的一系列素养的融合。1983年，美国哈佛大学心理学教授霍德华·加德纳(Howard Gardner)发表了名为《智力的结构：多元智力理论》(Frames of Mind: The Theory of Multiple Intelligences )的著作，提出了一种有别于传统的智力理论，即多元智力理论。加德纳最初提出了七种智能，即：音乐智能(Musical intelligence)、身体—动觉智能(Bodily-Kinesthetic Intelligence)、逻辑—数学智能(Logical-Mathematical Intelligence)、语言智能(Linguistic Intelligence)、空间智能(Spatial Intelligence)、人际智能(Interpersonal Intelligence)、自我认知智能(Intrapersonal Intelligence)。①后来，加德纳又提出了自然观察智能和存在智能。美国已有上百所学校发展为多元智力学校，难以计数的教师以多元智能理论指导课堂教学。近30年来，多元智能理论已经成为一些国家和地区教育改革的重要指导思想。近年来在我国教育界也非常流行，得到了广泛的关注。
我们所创造的世界，是我们思维的产物，不改变我们的思维，就无法改变我们的世界。多元智能理论改变了我们思维，“多元”针对传统智能一元化的弊端，“智能”针对以往理论的知识化倾向。人的智能不是单一的，而是多元的，并且在所有人身上，都是几种智能的组合。在语文教学中，往往只运用到了学生的语言智能，或者说只发展了学生的语言智能，其实，改变我们的思维，完全可以学
①
霍德华·加德纳著 沈致隆译.多元智能新视野[M]．北京：中国人民大学出版社.2007:9-11
25
生运用的音乐智能、空间智能等来进行语文教学，也可以弥补学生语言智能不足来运用其它智能来进行语文学习。当然，运用发展语言智能，空间智能，音乐智能，身体运动智能，也必须以思维的发展为前提和核心，如果把多元智能简单化、形式化也是对多元智能的狭隘理解，失去了思维，不包含思维的智能不是真正的智能。与语文教学关系比较密切的可能就是语言智能和空间智能，这里做简单介绍。
智能理论在艺术教育中的运用 智能 领域 学习内容 分析文学作品中使用的语言 语言表达文学作品的意义 视觉—空间智能 电影 绘画 建筑
当然，这只是一个简单的图表概括，从实践上，任何一种教学方法最多只能使一部分学生受益。阿姆斯特朗(T.Armstrong)根据多元智能理论提出了最优的教与学的方式问题，这里仅选取言语-语言智能，视觉-空间智能和身体-运动智能。
动态环境 图像与象征 整体空间 相关理论 新批判 语言学 电影理论 绘画理论 建筑理论 言语—语言智能 文学 26
多元智能与最优教学方法①
智力类型 思考方式 学习需要 学习优势 学习风格 言语—语言智能 通过语言 书本、磁带、作阅读、写作、 主要通过听说品、阅读、写作、说故事、做 读写的方式学记、会话、讨论、文字游戏 争论 习，谈话能激发他们产生学习的欲望。教师应为他们提供视听教材，尽量创 造运用写作能力的机会。 视觉—空间智能 通过想象和艺术、电影、想设计、绘画、 教师应通过想画面 象性的游戏、迷想象、涂鸦 象、图片和色彩津、插图、参观艺术博物馆 教学。教师还应该帮助孩子的父母对他所幻想的内容进行生动的描述。 身体—运动智能 通过身体的角色扮演、戏剧， 跳舞、奔跑、 主要通过触摸感觉 运动，有可用于 跳跃、触摸觉等方式学习， 搭建的材料，体觉、做手势。 角色扮演、戏剧育比赛，要有触 觉性的经历、动手操作性的学的即兴创作等均能激发他们的学习欲望。 ①
钟启泉.为了中华民族的复兴为了每位学生的发展:《基础教育课程改革纲要(试行)》解读[M]．上海：
华东师范大学出版社.2001:245
27
习。 教师应安排用手操作的活动来为他们提供最佳的学习机会。 多元智能为人们发展多模态素养提供了智力基础，这些最优教学法也可以运用到语文教学中来发展学生的多模态素养，比如运用视觉空间智能，通过电影，游戏，参观的形式；运用身体运动智能，采用戏剧，角色扮演的方式。在使用维基百科、播客、博客、社交网站和网络课程时，人们都必须运用到一系列数理逻辑和语言智能之外的智能。比如如空间智能、人际智能 、运动智能、音乐智能、观察智能等。博客、播客和维基为学习者提供了阅读和创作的机会。学习者也可以展现他们的多元智能。同时又要求学习者具备能够读取，识别图像并转化为信息的能力，这就需要具备多模态素养。
28
第三章 多模态文本学习
（一）多模态文本
1．文本的含义和种类
“文本”是西方文学理论的核心概念，“text”（文本）（注：在国内的著作里经常被翻译为“本文”，文本用起来更方便，以下引用中出现的本文代表文本）一词来源于拉丁文“textus”意指是“质地、组织、结构”，“texus”一词又来自动词“texo”，意思是“编制，创作”。从这一意义源头出发，文本既非封闭自足，也非作者所独有，而是强调自身“架构”(fabric)建造和拆解的无止境性①。当然，文本并不是当代西方学者新创的一个术语，文献学里早有阐述。布洛克曼(Jan.M.Broekman)认为是通过如下方式把文本一词带入当代西方文论。他说：“直到结构主义出现后，他们的著作（指提到的马格思、尼采、柏拉图或黑格尔的著作）才真正成为本文。” ②那么，文本在结构主义主义语境中获得了怎么样的特征？一是结构的包容性，包含了诸如社会学、符号学、语言学、精神分析学等，共同形成结构的材料；二是结构的解释学需要，通常认为结构中并存两种意义，一种是直接的、初级的和字面的意义，另一种是间接的、第二级的和比喻的意义，而对后者的解释性揭示是结构主义的存在基础；三是结构的符号性，结构自身至少包含两个记号系统，语言交流系统和包含语言交流系统的系统，对这两个系统的研究构成了结构主义符号学。可以说，文本在结构主义语境中，变得更加丰富，也更加充满变化性。
关于文本的定义，很多种不同的理解，这里只谈和本研究有关的理解。一个文本就是一组用作符号的实体，这些符号在一定的语境中被作者选择、排列并赋予某种意向，以此向读者传达某种特定的意义。③那么，这一定义的组成要素就包括：一组用作符号的实体、符号、符号的选择和排列、意向、语境、作者、读
①
丹尼·卡瓦拉罗著 张卫东、张生、赵顺宏译.文化理论关键词[M]．南京：江苏人民出版社2006年版，第64页 ②
J.M.布洛克曼著 李幼蒸译 结构主义：莫斯科-布拉格-巴黎[M]．北京：商务印书馆1986年版，第94页 ③
乔治·J·E.格雷西亚著 汪信砚译 文本性理论：逻辑与认识论[M]．北京：人民出版社2009年版，第16页
29
者以及意欲传达的特定意义。这一定义包括了内容，方法和结果，以及中间过程的思维，以及强调符号性。符号就包含了多种形态，文本就可以不仅仅包括文字形态的文本，还可以是口头、体态语、以及电影、电视等多种形态。而平常我们所说的文本只是指内容，实体的符号。
文本种类的划分有多种分法，根据本研究的研究内容，这里主要是依据PISA(Program for International Student Assessment)，国际学生评估项目的阅读素养所呈现的框架。
第一，根据按照介质的不同，可以分为印刷文本和电子文本，当然我们这里谈的是印刷术出现之后的文本。印刷文本出现在纸面上，是一个固定的或静止的存在。电子媒介文本是通过液晶显示器(LCD)、等离子、薄膜晶体管(TFT)等电子设备显示的文本，同时也是一种超文本，有着导航工具或者超链接以及非序列阅读特征。它是不固定、动态的存在。第二，按照环境分，分为授权文本和基于消息文本。授权类文本中，读者是接受者，其内容是固定的，不受读者影响。消息文本中，文本内容是合作的，流动的，读者被邀请参与。个人可以添加内容，或者以某种方式改变。读者不仅可以获取信息，还可以作为一种沟通交流方式，文本对象主要包括：网上论坛、电子邮件、网上聊天室、博客、微博。第三，按照格式，分为连续文本和非连续文本。连续文本是由句群依次组成段落。在印刷媒体中，连续文本主要是散文、小说、新闻报道，在电子媒介文本中，连续文本主要是博客，回复评论。非连续文本是大量列表的组合，主要包括：图形、图表、广告、目录、索引。当然，有时一个文本既有连续文本，又有非连续文本，这时就出现了混合文本或者多元文本。在某些书籍，杂志中，采用了多种方式交流信息。在电子媒介中，网页通常是文字段落，图形列表组合而成的混合文本。
随着信息化的不断发展，越来越多的人认识到对信息文本的读写能力变得难以忽视，因此，在语言教育中涉及信息文本逐渐在被人们所接受，教学生甚至是幼儿园和小学低年级学生来学习信息文本，逐渐发展为国际中小学母语课程深化改革深化和教学创新的新趋势。如2010年，美国颁布了第二个全国中小学母语课程标准《美国州共同核心课程标准—英语》。在这个标准里，按照人类的交际目的，把文本分为信息文本和文学文本两类。如下表所示：
30
文学文本 故事 戏剧 诗歌 信息文本 历史、科学和技术文本和文学非虚构 儿童冒险故事、简短熟悉的场传说、寓言、民景剧和舞台对童谣、叙事诗、包括传记，历史，科学，艺术以及社会五行诗和自由诗 研究，呈现在图表和图形中的指示和信息，以及一系列主题的数字资源 间故事、幻想、话 神话、现实主义小说 美国州共同核心课程标准K——5年级阅读文本①
文学文本 故事 历史小说、神秘小说、科幻小戏剧 书面形式或者是在电影里的诗歌 抒情诗、叙事信息文本 文学非虚构 散文、演讲、说明文，论证文，为广大诗、十四行诗、受众而写作的艺术或文学、传记、新闻，自由诗、史诗 历史，技术，以及一系列主题的数字资源 说、神话、寓言、单幕剧和多幕模仿小说、讽刺小说、现实主义小说、历史小说、图画小说等 剧 美国州共同核心课程标准6——12年级阅读文本②
从美国州共同核心课程标准可以看出，从小学到高中的英语教学文本分为两大类，文学文本和信息文本。文学文本主要分为故事（包括小说）、戏剧、诗歌。信息文本主要包括了历史科学等技术文本以及一些非虚构的文学文本。
2．多模态文本
①
Common core state standards for English Language Arts& Leteracy in History/Social Studies，Science，and Technical Subjects HttP://www.corestandard.org/assets/CCSS_ELA standards.pdf ②
Common core state standards for English Language Arts& Leteracy in History/Social Studies，Science，and Technical Subjects HttP://www.corestandard.org/assets/CCSS_ELA standards.pdf
31
互联网产生的“后印刷时代”文本，越来越难以忽视文本不仅仅包括印刷语言，而且通过其它视觉组件来传达意义，例如布局，排版，色彩和插图。①前面提到多模态是文字、图像、声音、色彩、手势、动作、空间等意义的整合，那么多模态文本是合并口头的、书面文字的、移动影像的、声音的文本，出现在纸上或者电子屏幕上。有点类似于上文所说的混合文本。多模态文本是以视觉模态，电子和数字文本为载体，囊括信息技术的一种新型文本。学生在教学环境中碰到出现在纸上的多模态文本主要包括图画书、科技信息书、报纸和杂志，出现在电子屏幕上的文本包括由电视电影，互联网，手机等数字技术产生的文本，如一部电影，一个新闻报道，一篇博客。
阅读多模态文本的过程是否和印刷本文不同？我们知道，阅读图画书或者报纸杂志需要综合考虑文字，图形图表，影像的信息，而在电子屏幕上，还需要结合运动影像和声音。但是，也有很多相似之处，它们的相似之处在于意义的生成和理解的过程。在一个小说或者非小说文本，多媒体文本，图书书，信息文本或者是在电子屏幕上，我们无论是阅读文字还是图像，都需要理解它们所传达的意义。我们需要理解特定文本的社会文化意义，这关系到我们使用这些文本的目的，任何的理解都关系到我们先前的知识和经验储备，然后根据这些知识经验产生新的意义。当然，这些过程都是在读者头脑中产生的，这些过程在印刷文本和多模态文本中的相似之处如下表。这些过程指的是意义生成的过程，阅读行为的核心，这些过程的出现依据文本的类型，作者的目的和读者的目的。
①
Elisabeth El Refaiea and Kathrin Horschelmann Young people’s readings of a political cartoon and the concept of multimodal literacy[J]. Discourse: Studies in the Cultural Politics of Education.2010(3):195-207
32
·掌握大量的社会文化背景知识 ·任何一个文本都是特定类型流派的一部分（文学的；资料的；媒体的；网络的；数字的） ·读者根据文本类型或者目的调整期望值 ·各种知识图式被激活——知识的背景，知识的话题，知识的流派 ·读者和文本之间有一个意义互动，观念，人称关系，文本目的都可以产生意义，而读者是一个“导入者” ·理解和解释应该有一个认知和情感的水平（文字，推论，批判性的回应，移情，对比类推） ·理解，分析，批判意识，观点立场，“定位”。 ·想象力能够被激活 ·可以获得信息 ·有一个特定的上下文，话语的一致性 ·读者需要激活不同类型文本的技能。（如预测，略读，精读，审美） 阅读印刷文本和多模态文本的相似点①
当然，也有许多差异出现在不同的文本类型和广泛的多模态文本之中。如果意义生成作为一个基本的过程发生在阅读所有的文本类型中，那么差异就是不同模式对阅读过程所产生的影响。显然，差异依赖于模式加工的方式以及一种特定的模式如何影响意义的生成。相比传统的印刷文本，读者在阅读多模态文本会运用到各种感官，包括视觉，听觉，触觉，运动感觉。下表概括了印刷文本和多模态文本的一些不同之处。
①
Maureen Walsh. The ‘textual shift’:Examining the reading process with print, visual and multimodal texts[J].Australian Journal of Language and Literacy,Vol. 29, No. 1, 2006, pp. 24–37.
33
印刷文本 主要模式：由“文字”显示，包括词汇，语言的模式，语法，章节，段落和句子结构，布局，排版。 多模态文本 主要模式：由影像“显示”，包括布局，大小，形状，色彩，线条，位置，视角，图标，链接。运动，声音，动画图形，视频剪辑，画外音，改写。 使用的感官：视觉，触觉。 人称意义：由语言“声音”形成，通过使用对话，第一，二，三人称来叙述。 语言风格：包括基调，语调，幽默，讽刺，文字游戏，丰富词语意义。 语言意象：包括描述，象征意义，隐喻，明喻。 阅读途径：主要是线性的或者顺序的，读者主要是遵循，接受。 使用的感官：视觉，触觉，听觉，运动感觉。 人称意义：由视觉“声音”形成，定位，角度，视角—“提供”和“需求”。 视觉风格：媒介选择，图形，动画，框架，菜单板，超文本链接。 视觉表象：使用颜色，图案，图标，重复。 阅读途径：使用向量：不连续的，非线性。读者有更多的选择和交互机会。 阅读印刷文本和多模态文本的差异①
多模态文本通过多种方式呈现信息，包括视觉影像，书面文字，设计元素等其它符号资源。书面语言和视觉影像要通过不同的逻辑来理解，印刷文本是时间的逻辑或者时间的序列，视觉影像是空间性的逻辑，有组织，有安排，甚至是同时发生。印刷文本，意义是由位置的时间序列派生的，多模态文本，意义是由视觉图像的空间关系或者视觉语法派生的。文本是媒介内容，如何形成，如何表达意义，以及如何传达给受众。文本分析的目的是解释意义是如何生成和变化，影响意义表达的符号因素和文化因素有哪些，以及文本如何试图主导受众对媒介内容的接受和解读。将电子媒介的内容称为文本，就意味着承认电子媒介具有同传统媒介一样，甚至更加强大的表意能力和传播能力。
（二）多模态文本的学习
多模态文本主要通过使用两种符号系统来传达意义：书面语言和视觉影像。
①
Maureen Walsh. The ‘textual shift’:Examining the reading process with print, visual and multimodal
texts[J].Australian Journal of Language and Literacy,Vol. 29, No. 1, 2006, pp. 24–37.
34
一般来说，媒介传递信息的符号主要有三种，一种是文字，一种是声音，一种是图像（包括固定图像和运动图像）。当然多模态文本也包括声音符号，但是我们在学习理解多模态文本时，主要是书面语言和视觉影像的理解。学校教育主要关注在书面语言上，而当视觉影像逐渐占据学生的主要生活领域时，视觉系统意义的教学对教师来说，是一个严重的挑战。
1．视觉思维与视觉图像的加工方法
对于人的视觉的一般规律的理论解释，心理学家班图拉认为有四条规律①。第一是整体评价特性。人总是习惯于把某一事物放在特定的背景中来加以评价，从一事物与他事物之间的联系上来评价这一事物的性质、意义和特征。第二是运动追踪特性。人对事物的认识不少一成不变的。人总是习惯于对事物的发展、变化和各种运动状态加以关注，从而力图弄清楚它的整个发展过程和内在规律性。第三是比较辨析特性。把一事物和他事物加以比较，从而发现两者之间的不同之处，是人们认识世界的一个重要方法。第四是色彩优先特性。人们认识事物时，对新鲜的、运动的、对比性强的、与众不同的事物往往有注意倾向。20世纪40年代，美国俄亥俄州立大学教授戴尔认为，人类经验的学习和积累，从抽象到具体，从间接到直接依序共分为10层：①口述符号；②视觉符号；③录音、广播和静画；④电影与电视；⑤展览；⑥参观旅行；⑦示范；⑧戏剧的经验；⑨设计的经验；⑩直接、有目的的经验。②
在心理学实验的基础上，哲学、美学、文学艺术等社会科学开始了对视觉认知的研究，其中的一个焦点是：是否存在视觉思维。而真正把视觉理解为一种具有认知功能的思维方式，开始于哲学的现象学运动和心理学的格式塔学派。20世纪初现象学由德国哲学家埃德蒙德·胡塞尔创立。胡塞尔在他观照世界的方法论中很重视视觉的作用，他说：“原初在确切意义上进行着直观的那种意向体验是对一个事物的视觉感知。”他还把人在观看图像这一行为细分成“对图像事物的感知”、“对图像客体的立义”、“对图像主题的立义”三个部分。③这就表示，你在看一幅图画或照片时，分别要对作品的材料（如纸张、印刷质量）、反映的内容（画面上的人物或景象等）、表现的意义（像外之象）分别做出认知。“格式
①②
陈龙．媒介素养通论[M]．长沙：中南大学出版社，2007年版第53页. 赵宁．视听传播你和我[M]．台湾：台湾平氏出版社，1995年版第17页. ③
[德]胡塞尔.生活世界现象学.上海：上海译文出版社2002年版，第9页
35
塔”原指事物的形状或形式。德国心理学家韦特海默认为，人在视知觉过程中，总是会自然而然地有一种追求事物的自觉整体的特点。他进一步阐明了知觉结构的原则：一个人像知觉似动现象一样，也是采用直接而统一的方式把事物知觉为统一的整体，而不是知觉为一群个别的感觉。①鲁道夫·阿恩海姆发展了韦特海姆的观点，他认为，一切知觉中都包含着思维，一切推理中都包含着直觉，一切观测中都包含着创造。阿恩海姆以大量的事实证明了视知觉本身已具有认知能力、理解能力和一定的问题解决能力，即已具备了思维的功能，所以视知觉并不低级，相反它是人类思维的一种最基本形式。②最后他得出，所谓视知觉，也就是视觉思维。美国心理学家麦金，接受了阿恩海姆的观点，正式使用视觉思维概念。他在《体验视觉思维》一书中，给出了视觉思维较为宽泛的界定。他认为，视觉思维借助三种视觉意象进行。其一是“人们看到的”意象；其二是“我们用心灵之窗所想象的”；其三则是“我们的构绘，随意画成的东西或绘画作品”。而且，“虽然视觉思维可能主要出现在看的前前后后、或者仅仅出现在想象中，或者大量出现在使用铅笔和纸的时候，但是有经验的视觉思维者却能灵活地利用所有这三种意象，他们会发现观看、想象和构绘之间存在着相互的作用。③ 以语言为中心的思维，其基本特点就是要从一维线性的时间轴去把握事物运动过程的本质属性，通过对语言符号，运用分析、综合、抽象、概括等方法，很方便地对事物的各种属性进行思维加工，从中提炼出反映事物本质属性的“概念”。那么，以图像为中心的思维，其基本特点就是既要从整体上去把握事物的基本属性即事物在空间上的存在形式与性质，又要从整体上去把握事物之间内在联系即空间位置、组合次序及相互作用关系等结构特征。图像思维的加工对象是表象，在表象的基础上产生对图像的再认（即识别），加工方法同样有分析、综合、概括、抽象，此外还有联想、想象等。表象是过去对感知觉所留下的痕迹，也就是在人们头脑中保存的关于事物的具体形象。表象可以分为视觉表象、听觉表象、触觉表象等。这里讨论的是视觉表象，它主要表现为色彩、形式、纵深和位移。也就是说。我们在“看”的时候，主要对被视物体这四个属性做出反应。视觉表象具有直观性和一定程度的概括性。正是对于表象能对客观事物作出直观
①②
[美]杜·舒尔茨.现代心理学史.北京：人民教育出版社1981年版，第302页 [美]鲁道夫·阿恩海姆.视觉思维.北京:光明日报出版1986年版，第56页 ③
傅世侠 关于视觉思维问题 互联网资料
36
而概括的反映，因而通过对表象的逐步加工（分析、综合、抽象、概括、联想和想象等）就有可能达到对事物本质属性的把握。
分析是将一个事物的完整表象分解为若干个组成部件的心理操作过程。综合：是将同一类事物的表象加以合并，使之更完整、更精确的心理操作过程。抽象是指抽出同一类事物的表象加以合并，使之更完整、更精确的心理操作过程。例如，撇开身材、脸型、衣着等所有其他具体特征，把一个毕恭毕敬的侍从抽象为一把弓那样的弯腰曲背形象，也是视觉抽象。概括是把个别事物的本质属性推广到同类其他事物的心理操作过程。联想是指由一种事物的表象想到另一种事物表象的心理操作过程。想象是对原有多种表象进行整合、重构的心理操作过程。当然，除了这些，还存在着视错觉，眼睛提供给我们的任何一种视觉信息通常都是模棱两可的，它本身提供的信息不足以使我们对现实世界中的物体给出一个确定的解释。甚至我们很容易被自己的视觉系统所欺骗。这是我们应该注意的地方。
2．多模态文本学习的三个视角
用于创建多模态文本和印刷文本的符号系统存在很大差异，而具有差异的符号系统赋予了不同的意义潜势。从单一的书面语言文本到多模态文本需要一个平行的转变策略以及掌握某些技能。理解视觉图像的含义，读者必须要使用新的策略，要超越用于书面本文理解的策略。读者学习多模态文本要在一种新的，互动的方式上来解释和分析多模态文本。这里给出一个多模态文本学习的框架。
学习多模态文本要采用相互关联的三个分析视角：知觉，视觉结构，意识形态。知觉分析视角把焦点集中在文字和图像的外延内容上，比如设计元素，视觉元素。这个分析视角和印刷文本类似。眼睛直接观看到的是一个多模态文本的视觉元素，这也是知觉分析视角的内容，因为读者不能解释没有注意到或者认识到的内容。因此，学习多模态文本第一步是唤起读者对多模态文本视觉元素的注意。那么读者需要建立一个关于图像的文字知识储备，然后利用这些储备进行解释。我们知觉系统可能同时限制和引发我们的感知和理解。我们的知觉由我们的知识经验所引导，我们的感知总是受制于我们所知道的，阅读多模态文本也受到先前的知识储备，个人经历，社会文化历史背景的影响。视觉结构视角，结构在某种意义上等同于“语法”，包括叙事，陈述，框架，颜色和位置等，视觉图像依赖空间和作品的布局，它可以吸收各种图像和设计元素的“语法”，而图像和设计
37
元素是可以被解释的，因为创作者设计它们有着一定的目的和意义。同时它也是一次次的转换，由影响到文字的转换，每次转换都是一种行为的解释。结构还受社会文化和历史背景的影响。现有的主要的作品结构已经建立在约定俗成的社会符号中，这些结构不是孤立于社会环境和实践存在的，而是要嵌套在意识形态或者社会符号学的环境中来分析。这里有一个视觉结构分析的引导①：
·它所包含的背景是什么？ ·你第一眼看到的是什么？
·主要颜色是什么？对你有什么影响？ ·排列顺序是什么？
·元素的大小是如何分配的？为什么有的元素大？是如何添加到内容中的？ ·主题是积极的，还是消极的，或者是开放的？
·通过导航线，色彩，对比度，手势，作者的意图是什么
最后，从意识形态的角度。它关注多模态文本的社会文化，历史政治环境。探索图像的意义就是要认识到它们是由社会权利和意识形态的内部所产生的，意识形态是存在所有文化的信仰系统。②视觉文本是一种特定的社会行为，作者总是传达一定的任务，通过运用各种符号资源来创建一个可能的意义。
每个视角只是提供给读者学习多模态文本的一种思维方式，有助于扩大读者的理解力。当然每个人的思维方式不同，还要根据个人情况而定。这里提供的只是一种参考。
3．多模态文本引起听说读写学习的变化
今天的学生需要不断适应新技术和为他们个性发展的读写实践活动。随着新的交流技术不断出现，教师需要为学生准备新的读写实践活动来应对不断涌现的社交网站。学生需要识别信息的真实性和它的意识形态，审慎评估那些经过加工的文本和信息。数字技术改变了社会沟通交流的方式，语言活动中的听说读写文本也发生着变化。
听，说是学生对他们阅读，观看，倾听，写作后的一种回应。说和听不是孤立的技能，通常涉及到学生合作调查一个主题来向观众展示他们的学习成果。协
①
Frank Serafini.Expanding Perspectives for Comprehending Visual Images in Multimodal Texts[J].Journal of Adolescent & Adult Literacy.2011(2) pp.346 ②
Sturken,Marita,&Cartwright, LIsa.Practices of Looking: An Introduction to Visual Culture[M].Oxford: Oxford University Press.2001 pp.21
38
作包括网络连接和文本间的衔接在实体和虚拟上的意义。随着数字技术的发展，学生能够在同一间教室里同步连接网络。社交网络诸如博客一类的能够允许参与者之间进行同步互动。学生能够同步看到其他学生的作品以及他们对该作品的回复意见。这样的在线交流设施将会在教室逐步建立，新的社会实践扩大了听说的概念。同时，通过这些流程，学生将会从事手工，艺术，音乐或者戏剧活动。因此，听和说需要包括协作，调查，谈判，制定，连接，互动交流。
阅读涉及到分享，模仿和独立阅读各种适合他们年龄的词汇活动，也涉及到学生对不同书籍和文学信息的推理和批判性理解。同时也发生在数字文本例如互联网网站中。学生在书本或者屏幕上搜索信息时，和文本以及其他学生发生互动。屏幕上的阅读包括多种感觉的活动。例如搜索，查看，浏览，滚动和导航连同点击和滚动鼠标，应对动画图表，超文本，音效。阅读在多模态中应该是“阅读和观看”，阅读和观看通常是可以互换的过程。阅读包括分析，浏览，解码，超链接，解释，导航，反应和搜索。
写作是学生在纸上写出一种或者多种类型的文本。这些流程，规划，设计，创作，由原来的纸上转化到数字或者多媒体屏幕上。屏幕上的写作通常会成为特定观众而设计的产品的一部分。学生评价自己和同伴的作品是否符合受众的要求。学生在创作多模态文本时，要考虑和理解设计的特征，例如布局、组成、使用文本、图像或者图形，以及要适合特定的受众。因此，写作的定义包括组成，创建，设计，评估，规划，生产和转换。如下图所示
39
这个图标展示了识字活动的相互关系。纸质数字和多媒体文本在教室中可以相互转化。这些文本存在于整个多模态素养的概念中，因为学生在阅读这些不同类型的文本时也在从事写作和生产的活动。听，说，阅读，观看和写作这几个活动相互依赖。听和说引起阅读活动或者写作任务，同样，阅读经常涉及说和听或者写作，而写作业会涉及到说和听或者进一步阅读。这三个圈显示了这些读写活动之间的相互依赖关系。可能这些关系并不明确，但也是在新的通信交流环境下，对语言和读写活动是如何发展的一个尝试。结合数字通信技术时，语文课程活动出现了更多的维度，变得更加丰富。结合鲁迅的作品，我们做一个探讨，如下表
听和说 协作 调查 谈判 制定 连接 互动 交流 阅读和观看 分析 浏览 解码 超链接 导航 反应 搜索 写作 组成 创建 计划 评价 规划 生产 多模态素养 纸质文本 数字文本 多媒体文本 40
听 说 在听和说的活动中，合作是必不可少的，学生以小组形式工作 ·小组讨论鲁迅的作品《祝福》 ·提出一个口头描述的人物形象或故事情节 ·计划关于鲁迅研究小组项目——涉及到小组谈判和协作，并使用数码摄影 ·通过博客讨论作品 ·幻灯片展示 阅读 研究鲁迅，学生需要 ·阅读，观看和比较 ·通过书籍和搜素网站来识别和比较鲁迅的不同作品 ·搜集并观看有关鲁迅及其作品的图画和影视作品 写作 学生从事一系列的写作活动以及制作数字文本 ·通过搜素网页来引入并写出简介 ·通过教师显示的文字来让学生参与到互动中 ·写出文学方面的描述，避免抄袭 ·把艺术欣赏的卡片作为支架，制作小卡片 ·参与博客，写博客或者在博客上留言互动 小组合作 ·撰写，制作出一个程序“如何分析鲁迅作品” ·学生使用数码相机来创建一个可视化情节串联版 ·结合文本与图片创建一个智能板展示自己的工作 ·创建一个展览手册和故事板 ·回应博客 印刷和电子文本中听说读写实践描述
在整个任务中，学生进行批判性反思和评价。这种学习方式鼓励讨论，鼓励一个协作的学习环境。当然，信息技术的发展对读写教育的影响已经延续了一段时间，然而，要把这些理论变为教育政策和实际的课程设计，并不是一件简单的事。
41
（三）语文课程中多模态文本学习活动案例
首先让我们首先看一个美国小学六年级的多模态文本学习活动案例。这个活动中，使用多模态文本学习。它的文本包括书，影视录像以及“互动性小说”计算机软件程序。学生最后发现三种文本的不同形式，比如人物刻画，在书中是用描述性的词语来刻画；在电影中是通过面部表情以及肢体动作；在软件程序是通过发问对话的形式。再比如场景，在书中是通过文字持续不断地呈现，还有借助自己的想象；在影视中是直接呈现在眼前；在程序软件中则是自己参与策划。
福斯特(Foster)老师的学生已经学习过如何组织一篇完整的故事了。三个星期里，福斯特老师和学生一同分析短篇小说，他们首先观看十五分钟的录像，然后福斯特老师帮助学生理解作者是如何展开故事情节和把握人物性格特点的。然后学生开始分析故事中的环境，不但分析作者是如何来呈现场景，而且还分析环境是如何来影响人物。教师经常组织类似的教学活动来鼓励学生自己分析故事的情节、主题、高潮和结局。福斯特老师认为学生已经熟练地掌握小说的各个要素了。他认为是时候挑战学生了，她让学生用不同的形式来探讨同一个故事以及故事的各个要素是如何展开的。她选择《瑞士人鲁宾逊的家庭》的平装本，迪斯尼的《瑞士人鲁宾逊的家庭》的录像和多份经典版本的《瑞士人鲁宾逊的家庭》软件的复制品。这种软件提供了一种叫作“互动性小说”的计算机软件程序，它为学习者提供了一定的场景，让学习者创设一定的行为。比如提供给学生这样一个场景，学生发现自己在一艘出现事故轮船的甲板上，周围有他的家人、绳子、圆捅和木板。程序会提问“你准备做什么?”学生也许会通过用绳子和木板做个救生艇；也许他们会请求家人的帮助。这个故事的发展依赖于学生自己的决策。
福斯特老师给学生介绍三个不同版本的《瑞士人鲁宾逊的家庭》，包括书本的，电影的，软件程序的版本。她把学生分成了四组，给每组一个任务，要求学生在两个星期内“读”完全部的版本。然后小组成员共同合作，分析每个版本的故事组成要素以及每个要素是如何展开的。当学生在分组分析时，老师循环观察学生的讨论情况。其中有一个组在比较分析每个版本中人物的表现时，马撒(Martha)同学说，看！在书中介绍并描写了每一个人物，我们用描述性的词语来刻画每个人物的形象；在电影里，是通过人物的面部表情以及他们的肢体动作来认识了解人物；而在软件程序里，作者并没有刻画描写的人物，我们对人物的认识依靠我们对它的发问。在不同的版本故事中，我们要用不同的方式来获取有关人物的形象特征。还有个现象，在书中出现的人物，录像中却没有出现过。而在电影中又添加了一个人物，为
42
什么会这样呢？福斯特老师在教室走动观察时，又听到关于比较不同版本场景的呈现问题。一个同学说，在书中，对场景描述的形式是一直不断地持续下去的，有时我们还必须调动我们自己以往的知识经验。在录像中，场景就在眼前，但有时候却快得使你来不及注意就过去了，这个时候我们需要把带子倒回去再仔细看一遍。在书中和录像里，作者会告诉我们需要了解哪些场景。而软件程序却截然不同，你根本分辨不出什么是重要的，什么是不重要的。在软件程序中你如果不考虑每一个场景的要素并试探其功能的话，就有可能错过一个非常重要的线索。”福斯特老师通过走过观察发现学生们确实取得了一定的进步。并且他们很快就准备自己撰写故事。下周一，全班同学决定共同确定空间奇遇这个故事的各个要素。他们要确定人物并对选择的行星这个场景描述做一些研究，创设一系列问题并提供几个解决的方案。然后学生分成四组或者五组，选择一种形式来展开他们自己的故事。可以选用影视录像、语言文字、录音广播或者利用超媒体程序软件设计互动性的故事。
①
美国的课堂学习活动一般采取分组讨论，学生自主学习的形式，教师只是作为一个协调者和辅助者的身份。多模态文本学习也不例外。在这个多模态本文学习活动总共分为三个阶段。第一个阶段是教师引导示范。教师首先给学生进行几个周的引导学习，帮助学生分析作者是如何开展故事情节和如何把握人物性格特点的。然后鼓励学生自己去分析故事的各个环节。第二个阶段是学生在课堂上进行分组讨论。第三个阶段是学生自己选定主题创作多模态故事文本。
从这个学习活动中可以看出多模态文本学习要有先进的信息技术基础，比如文中提到的“互动性小说”软件。这是一种人机互动的学习软件，在国内还没有类似的软件。但我们可以通过建立网上学习资源来进行多模态文本的学习。例如台北兴德小学就自设本校的学习资源网站，学校的老师可以将一些与教学内容有关的资源放到网站上，上课时可以按需索取。如以下的教学活动。
教学内容:感官写作视觉篇。教学目标:透过感官写作视觉篇学习描写人物 教学活动:
1.教师指导学生进入“学习区”。 2.学生点选“人物(物品、动物)描写”。
3.学生进入板块学习如何描写人物外貌及身材(物品、动物外观)。 4.学生学习如何描写人物表情及动作(物品功用、动物生活习性).
①
Sylvia Wolfe & Rosie Flewitt. New technologies, new multimodal literacy practices and young children's metacognitive development[J].Cambridge Journal of Education,2010,(12):387-399.
43
5.教师指导学生进入“活动评量区”。 6.学生点选“人(动)物描写”活动评量。
7.学生进行描写人物外貌及身材(物品、动物外观)活动评量。 8.学生进行描写人物表情及动作(物品功用、动物生活习性)活动评量. 9.学生写一篇描写人物(物品、动物)的文章。①
在国内也有多模态文本学习的例子。比如深圳新安中学的吴泓老师，他十一年不用传统语文课本，而是建设高中语文专题研究性学习网站。他把语文课程和计算机网络环境的整合，从事专题研究性学习。专题性研究学习的操作步骤包括：
②
1.师生一起选定专题或者由教师确定专题，教师充当引导者和启发者； 2.围绕选定的题目收集材料。
3.泛读材料，了解专家学者对此专题的研究内容和方向； 4.确定自己的研究方向；
5.围绕自己的研究方向精读材料：首先欣赏和分析他人的思想和见解，再是批判性思考，归纳自己的观点，最后交流共享成果； 6.写出自己的研究成果，以小论文、随笔、散文等方式； 7.教师阅读评价学生的研究性成果；
8.学生再修改自己的成果；
9.成果上传网站或编辑成册。在编辑过程中，学生负责编排、插图和整个的版面设计。
在具体操作实施层次上，涉及教师的指导、学生的分组与协作、学生的探索、任务设计、媒体与技术作用、内容与资源、策略与方法、管理和评价。这个操作程序还有一个学习管理的方法。每周有两至三课时的网上学习时间；提前布置每节课的学习任务和学习方式；设置生动活泼的学习环境，播放图片动画，音频视频；营造和谐平等的学习氛围。
随着iPad平板电脑的推广使用，在国内教育技术先进的中小学校也引入了这种设备，并用于教学。全国现代教育技术实验学校——深圳市南山实验学校南头小学在国内率先开展平板电脑教学，通过平板电脑为学生提供多样化、互动式
①②
信世昌主编:《第三届全球华文网路(络)教育研讨会》(论文集)，台湾侨务委员会2003年，第145页. 互联网资料http://blog.sina.com.cn/s/blog
44
的电子图书。充分发挥平板电脑的触屏学习、绘写融合、便捷分享的技术优势，提出了语文学习要培养学生“听—说—读—写—绘”的五项学习能力，并在“读写”上进行了创新探索。在低年级进行阅读、写作、绘画协同发展，突出图画对儿童学习的作用，并融合绘画与习作活动。充分发展教学的图视化、可视化，丰富语文学习内涵，创新语文学习模式。例如，二年级学生学习《人不长大该多好》这首诗歌，学生使用“画板”软件为诗歌配画，实现图与文的有机融合，意义得到相互补充，对学生的想象力和言语表都有很好的促进作用。①还有北京市的白家庄小学也将平板电脑引入教学，同时他们也在开发学科电子教材。
总的来说，多模态文本教学对网络数字技术有较高的要求，对学生的自主学习的能力也有较高的要求。在欧美发达国家，学校的信息技术比较先进，多媒体网络使用率较高，还有各种比较先进的学习软件。在我国只有少数的学校有良好的信息网络环境。当然，随着我国社会经济的发展，未来我国学校的信息网络也会不断发展。
①
互联网资料http://blog.sina.com.cn/s/blog_60d194a9010169fb.html
45
第四章 多模态素养对我国语文教育的启示
网络已经强势介入人们的生活，影响着教育的发展。教育是生命对生命的启迪，但是现在已经加入了第三方物体——网络。网络对我们生活的影响是全方位的，没有人会怀疑它给我们生活带来的便利。但是，教育在对网络利用方面，仍然缩手缩脚，不知所措。现在，网络和多媒体已经在大部分学校中普及，我们应该紧跟时代的步伐，培养学生的多模态素养，让网络真正发挥它的作用，改变学生的学习状态，深度渗透进教育生活，是我们值得关注的问题。
（一）语文教育培养学生多模态素养的条件分析
1．语文课程标准的多模态素养成分分析
以国家教育部发布的中小学语文课程标准为研究内容，以第三章表述的语文课程中多模态素养内涵为判断依据进行筛选。结果如下表：
总目标 学会使用常用的语文工具书，初步具备搜集和处理信息的能力。 1—2年级 ·综合性学习 2.结合语文学习，观察大自然，用口头或图文等方式表达自己的观察所得。 ·口语交际 3.听故事、看音像作品，能复述大意和精彩情节。 ·阅读 4.借助读物中的图画阅读。 3—4年级 ·阅读 5.能复述叙事性作品的大意，初步感受作品中生动的形象和优美的语言，关心作品中人物的命运和喜怒哀乐，与他人交流自己的阅读感受。 5—6年级 ·综合性学习 3.对自己身边的、大家共同关注的问题，或电视、电影中的故事和形象，组织讨论、专题演讲，学习辨别是非善恶。 ·阅读 11.利用图书馆、网络等信息渠道尝试进行探究性阅读。扩展自己的阅读面，课外阅读总量不少于100万字。 7—9年级 ·综合性学习 46
1．能自主组织文学活动，在办刊、演出、讨论等活动过程中，体验合作与成功的喜悦。 2．能提出学习和生活中感兴趣的问题，共同讨论，选出研究主题，制订简单的研究计划，从报刊、书籍或其他媒体中获取有关资料，讨论分析问题，独立或合作写出简单的研究报告。 3.关心学校、本地区和国内外大事，就共同关注的热点问题，搜集资料，调查访问， 相互讨论，能用文字、图表、图画、照片等展示学习成果。 10—12年级(必修) ·阅读与鉴赏 7.在阅读鉴赏中，了解诗歌、散文、小说、戏剧等文学体裁的基本特征及主要表现手法.了解作品所涉及的有关背景材料，用于分析和理解作品。 10—12年级(选修) ·小说与戏剧 2.形成良好的文化心态，学会尊重、理解作品所体现的不同时代、不同民族、不同流派风格的文化，理解作品所表现出来的价值判断和审美取向，作出恰当的评价。 6.留心观蔡社会生活，丰富人生体验，有意识地积累创作素材，尝试创作小说、剧本，相互交流。 ·新闻与传记 1.养成阅读新闻的习惯，关心国内外大事及社会生活，能迅速、准确地捕捉基本信息，就所涉及的事件和观点作出自己的评判。 3.广泛搜集资料，根据表达需要和体裁要求，对资料进行核实、筛选、提炼，尝试新闻、通讯的写作。 从这些课程标准中，我们发现，我国语文教育已经认识到要培养学生信息搜集处理能力；用图文来表达自己的观点；关注电视媒体，从媒体中获取资料；使用网络信息渠道拓宽阅读面；能用文字、图片、照片、图表展示学习成果；尊重不同民族文化；能捕捉新闻信息并作出自己的评价等。这些标准要求都是符合多模态素养的内涵。
2．人教版教材内容多模态素养分析
以人教版的小学、初中、高中必修教材为研究样本，根据上文中的课程标准来筛选，选出与多模态文本有关的课文。
47
类别 画 标题 我们的画、画家乡、画风、秋天的图画、画家和牧童、玲玲的画、画鸡蛋、画杨桃、一幅名扬中外的画、 年段 小学 摄影 电视 电脑和网络 新闻 网络阅读 小摄影 看电视 我们家跨上了“信息高速路”、电脑住宅 新闻两则 九年级上册综合性学习 好读书 读好书 初中 戏剧和影视剧本 威尼斯商人、变脸、枣儿、音乐之声 新闻 流行文化 戏剧剧本 短新闻两则、包身工、寻找时传祥、飞向太空的航程 新词语与流行文化、影视文化 窦娥冤、雷雨、长亭送别、哈姆莱特 高中必修 教材中的课文也一定反映了新课标的要求，但是这些课文对达到上述课程标准的要求，培养学生多模态素养还远远不够。
3．语文课程资源多模态分析
随着教育信息化的逐步提高，网络中的课程资源逐渐成为语文课程资源的重要组成部分。在教育部给出的CELTS-41.1标准中，明确规定了教育资源建设的四个层次:第一素材类教育资源建设，主要分八大类:媒体素材、试题、课件、文献资料、案例、常见问题解答和资源目录索引；第二网络课程建设；第三资源建设的评价；第四教育资源管理系统的开发。在这四个层次当中，素材类教育资源建设和网络课程是基础，是需要规范的核心；第三个层次是资源的评价与筛选，第四个层次是工具层次的建设。①就语文学科而言，按功能，分为素材性语文课程资源以及条件性语文课程资源。素材性资源包括语文知识、经验、技能、语文活动方式和方法、情感态度、价值观与语文课程的培养目标等，条件性课程资源包括人力、物力和财力以及时间、媒介、场地、设备和环境。它们虽然不是语文课程资源的直接来源，但是很大程度决定了语文课程的实施范围和水平；按存在空间来分，分为校内资源、校外资源以及网络课程资源；按课程资源的呈现形式
①
教育部教育信息化技术标准委员会.教育资源建设技术规范一一信息模型.2002年
httn:/lwww.celtsc.edu.cn/download/CELTS-41.3(WD1.0).pdf
48
上，分为显性语文课程资源以及隐性语文课程资源。语文的工具性与人文性决定了语文与生活的联系，人们借助语文所获取的知识来参与生活，又从社会生活中得到使自己语文能力发展的知识。语文与生活的联系，决定了生活中有很多学习语文的渠道。美国的语文课程把报纸、杂志、各种单行本作为重要的语文教学资料，甚至把路标、时间表、图表、新闻栏目等都作为教材。①
网络数字课程资源使语文课程资源融入了多模态，网络资源的发布与获取同步产生，师生获得语文资源的速度明显提高，并能获取最新的语文教学资源。各大网站搜索引擎使得网络课程资源的获得变得更加简便。网络传播的终端遍布全球各个角落，数字化信息高速传播，信息传播越过了时间和空间的障碍，学生在课堂，只用敲击键盘，点击鼠标，便可获得自己想要的语文信息资料。学生不仅能从网络中获取语文学习资料，而且也能为网络提供资料。在资源共享的过程中也可以共同建设网络资源。与此同时，网络信息交流会处于智能化的状态，学习者能从不同的角度、采用不同的方式来组合课程资源。网络阅读的信息以网络多媒体为载体，文字、图片、声音、视频整合在一起，共同来表达信息内容，生动形象。网络课程资源增加了语文资源的丰富性，资源形式变得多样，网络的超文本连接功能以及多媒体功能使得文字、音频、图象、视频、动画等多种模态信息表现形式融为一体。
①
倪文锦、欧阳汝颖主编:《语文教育展望》第12页，华东师范大学出版社，2002年版
49
（二）语文教育培养学生多模态素养的必要性
随着计算机信息处理技术以及网络通讯技术的飞速发展，“信息时代”和“网络社会”已经成了当今社会的关键词语，信息处理技术也成为了社会支柱技术之一。但是相对工业、商业、科学等领域，学校教育领域对信息技术的影响有着明显的争议。一方面，有人认为信息技术对教育的影响会像在其它领域一样取得巨大成功；另一方面，有人认为电脑、网络对学生、对学校教育带来巨大负面影响，从而对信息技术始终保持着一种排斥的态度。 然而，我们说过度的乐观或者说过度的悲观都只是在想象信息技术的意义。历史是向前发展的。世界各国在希望与警惕之间都在尽力为信息技术在教育领域的正面影响做着各种准备。在数字化学习时代，学校教育的关键是将以数字化为内容整合的范围逐步增加，直至整合于全部课程。为了创造数字化的学习环境，培养学生21世纪所需要的基本素质，学校教育有必要将数字化内容与各学科课程内容相整合。十九世纪末，我国也掀起了信息技术和课程相整合的热潮。国家颁布各种条例要求信息技术与各学科内容相整合。然而，“信息技术与课程整合”确难以全面展开。
50
《中国青少年上网行为报告》2011年显示，截至2010年12月底，中国青少年网民规模为2.12亿。其中中学生群体规模最大。青少年互联网使用率较髙，大部分青少年都是网民，变化较大的是上网的场所由网吧逐渐转向家庭和学校，这是由于网吧监管力度的加强以及家庭拥有电脑比例增加，学校上网条件的改善。再就是青少年网络使用的重点由娱乐逐渐转向社交，青少年在网络社交网站上的交流沟通活跃，有62%的青少年使用社交网站，有74.1%的青少年使用博客。虽然青少年使用网络的重点仍然是娱乐游戏，但它的热度逐渐转向于社交应用。电脑网络的出现不仅改变了读写的工具和载体，同时深刻影响着读写的内涵，也给语文教育带来了巨大的影响和挑战。学生在课外使用新的技术工具进行阅读并尝试各种新的写作形式，然而学校的阅读写作教学迟迟不作回应，即使有也是浅尝辄止。因此语文教育非常有必要来培养学生多模态的读写能力。
（三) 多模态素养给语文教育带来的影响及挑战
现代教育技术为语文教育提供了更加形象直观的交互性的学习环境。大量图文声像并茂的学习资源，更利于调动学生的多种感官来参与学习。语文教学更加形象直观，生动具体，教学样式有声有形。在多媒体信息环境下，网络电子屏幕能提供文本、图表、声音、动画、视频等多模态的表现信息，语文教育的信息极为丰富，为语文教学活动创造了一个更加便利的学习环境。这样有利于激发学生的学习兴趣，提高学生学习的积极性，促使学生自主学习。科技的发展向来是一把双刃剑，网络也不例外。网络以超文本、超链接和超媒体的方式组织信息，有利于人们快速便捷的获取大量的信息。网络的信息量浩如烟海，这有虽然利于培养学生获取信息的学习能力，但是网络信息却无所不包，给语文教学产生了负面影响。因为大量的信息旁很容易分散学生的注意力，并且大量不健康信息的存在不仅影响学生的学习效果，甚至对学生的身心发展产生危害。另外，网络用语对语言文字规范化产生冲击，对学生良好的读写习惯养成产生一定的影响。
以网络信息技术为支撑的多模态素养给语文教育带来了新的契机，使语文教育呈现出新的形式。但是由于网络消极因素的存在，也必然会对语文课程资源的开发与利用产生消极影响。现代教育技术媒体有许多优势的同时，各种媒体又有其局限性。现代教育网络媒体最大的功能是对具体事物巨大的呈现力，比如对事物的空间特征、运动特征、时间特征、颜色特征、声音特征进行描述和呈现。但
51
是所呈现的这些信息特征是具体形象的，它是属于直接经验和观察经验知识。而语文是工具性和人文性的统一，它主要培养的是学生的言语能力以及以言语为支撑的思维能力和表达能力。可以说，语文教育的主要任务是学习间接经验。
因此，多模态素养对语文教育有着一定的负面影响，给语文教学带来一定的挑战。图像会代替对语言文字的想象，它在一定程度上削弱了学生的想象力。如果教师把握不当，放弃对语言文字的学习，就会变成影视或者美术课。因此多模态文本教学要科学地使用影视声像，使它们为学生理解课文、丰富想象服务。同时还要注意，要符合语文学习规律，不能过度使用图像视频。要理解图文版面和色彩格调是为教学情境服务的内涵。另一方面，多模态文本教学与学习者的年龄有一定的关系。对于以直接的经验水平上的小学生，直观的学习比较适合。而对有一些学习经验的中学生来说抽象的文字形式更为适合。网络信息技术的不断向前发展对人类社会产生巨大影响，这一事实已无法改变。目前我国学校的信息网络技术没有欧美发达国家先进，但是未来的发展趋势是学校会逐渐更新网络技术，学校逐渐信息化，现代化。虽然多模态素养会对语文教育带来一定的挑战，但是不可否认它融合了信息技术与学科教育，这是教育发展的新趋势。同时也是数字时代对人们提出的新要求。而我国的多模态素养教育尚未真正开始，需要教师和学者们共同去探索。
52
因篇幅问题不能全部显示，请点此查看更多更全内容