TFS8听力测试语篇输入及预期回答任务特征历时分析（2009—2019）①

卢晓帆

内容提要 本研究以2009—2019年法语专业八级考试（TFS8）听力测试真题为样本，从语篇输入和预期回答两个方面对其内容效度进行了历时分析。结果表明：2009—2019年TFS8听力测试命题总体上具有较高的内容效度，但在语篇长度、语速、话题分布、所要考察的听力技能等方面有待进一步改善。基于研究结果，本文为今后的TFS8听力测试命题提出了一些参考性建议。

引 言

听，作为语言学习中的一个输入过程，是进行交流的前提和基础，也是一种最直接、最有效地获得语言知识的途径，是培养“具有扎实的法语基本功和专业知识和能力的法语专业人才和复合型法语人才”②教育部高等学校外国语言文学类专业教学指导委员会法语专业教学指导分委员会等.《普通高等学校本科外国语言文学类专业教学指南（下）》.上海：上海外语教育出版社，2020，第60页。的重要手段。

全国高校法语专业八级考试（以下简称TFS8）自2009年首次举办以来，迄今已举办了11届。它是参照《高等学校法语专业高年级法语教学大纲（试行）》（以下简称《教学大纲》），由教育部高等学校外语专业教学指导委员会法语分委员会组织的国标性质的教学检查类考试。考试对象为法语专业本科四年级学生，目的在于考查学生是否掌握了教学大纲要求的语言知识和语言技能，以期促进这个阶段的教学和学习。③曹德明，王文新.《全国高等学校法语专业八级考试指南(2015版)》.上海：上海外语教育出版社，2014，第4页。因此，TFS8是促进我国法语专业教学事业发展和提高教学质量的一项重要手段，对法语教学有重要的反拨作用。在TFS8中，听力测试占总分的五分之一。这一部分是否贯彻了考试大纲的宗旨，试题质量如何，对教学有哪些启示，这些问题值得探讨。目前，国内法语教学界对TFS8听力测试的效度还没有展开研究。本文选取2009—2019年11年间的TFS8听力理解测试试题，从文本输入和预期回答两方面进行初步分析，检验其内容效度，希冀为今后的命题提供参考。

一、研究背景

1.内容效度相关理论

巴克曼、帕尔默（Bachman & Palmer）认为，效度可分为内容效度、预测效度、结构效度和效标效度。其中，内容效度是指考试的内容是否有效地反映了考试的目标和要求，是衡量测试效度的重要指标之一，④Bachman L.& Palmer A.Language Testing in Practice.上海：上海外语教育出版社，1999.它包括：内容的相关性与覆盖面。内容的相关性是指测试内容和测试目的必须保持一致；内容的覆盖面指测试中考查的范围是否充分，即在多大程度上考查了该考的内容。只有保证试题内容与课程标准、考试大纲等规定的内容紧密相关，而且抽样的试题充分地覆盖了规定要测试的内容，试卷才具有良好的内容效度。《全国高等学校法语专业八级考试（TFS8）试题提纲（修订）》（以下简称《试题提纲》）明确指出：TFS8是以《教学大纲》为命题依据，目的在于考查高校法语专业高年级（3-4年级）学生对教学大纲要求的语言知识和语言技能掌握的情况。⑤曹德明，王文新，前揭书，第4页。因此，在本研究中，依据《教学大纲》和《试题提纲》对TFS8的内容效度进行检验是恰当的。

2.TFS8听力理解试题的构成

TFS8听力理解试题分为两部分：

第一部分为听写填空（分值10分），为一篇150词左右的短文，有20个单词或短语空缺。录音放两遍，考生根据录音填写空缺的短语或单词。

第二部分（分值10分）分为两节：第一节是10段情景对话录音，各附有1个问题和3个备选答案。每段对话听两遍，考生根据录音内容，选择合适的答案。第二节是一篇短文录音，附有10个问题，每个问题有3个备选答案。短文录音放两遍，考生根据录音内容，选择合适的答案。

全部录音约40分钟。

3.研究对象与方法

本研究针对2009—2019年11套TFS8试卷中的全部听力理解试题（包含11篇听写、110段情景对话、11篇听力短文及其问题）进行分析。将各分析项目量化处理，对得到的数据材料进行统计分类，制作统计表或统计图，找出结果中的趋势、相关性等规律。

二、数据分析与讨论

1.研究框架

巴克曼、帕尔默提出的任务特征模式是当前分析外语测试效度方面应用较广的模型。该模式包含测试环境、测试说明、语篇输入、预期回答、语篇输入和预期回答的关系五部分。⑥Bachman L.& Palmer A.Op.cit. p.49-60.本研究参照该模式，并结合《教学大纲》和《试题提纲》以及TFS8听力理解的题型，重新确定了分析框架（见表1），从语篇输入和预期回答两个方面对2009—2019年的TFS8听力理解试题进行效度分析。

表1 2009—2019年TFS8听力理解试题研究框架

2.听力试题的语篇输入分析

（1）语篇长度

选择长度适合的听力语篇，是试题设计者首先要面临的问题。《教学大纲》对听力语篇的长度未做明确规定。《试题提纲》仅规定听写长度为150词左右，但对情景对话和听力短文的时长同样语焉不详。

李筱菊指出：听力材料一般以不超过300—400字为宜。材料如果太长，考记忆的成分过重，不合理；太短也有问题，短至一句的，没有语境。每次听力测试用的材料，要求有一定的总分量，否则不足以测量受试者听的能力。综合性语言测试中的听力测试大题，其材料的录音（含指令和供答MC题的停顿），一般应有约半小时的长度。⑦李筱菊.《语言测试科学与艺术》.长沙：湖南教育出版社，2001，第339页.

本研究中，以单词数来表征输入内容的长度，并用法语版Microsoft Office Word 2007对2009—2019年TFS8听力测试进行了统计，结果如下：

?年度 听写① 情景对话 听力短文② 语篇长度③ 问题④ 年度合计⑤2009 129 406 255 790 477 1267 2010 147 458 287 892 881 1773 2011 155 510 263 928 783 1711 2012 152 527 286 965 671 1636

注：①统计数字包含标题(如果有的话)。②统计数字包含标题(如果有的话)。③统计数字为听写、情景对话和听力短文字数之和。④统计数字为情景对话和听力短文两部分问题字数之和。⑤统计数字为听写、情景对话、听力短文语篇字数以及问题字数之和。

图1 2009—2019年TFS8听力测试试题长度折线图

从上述图表中，我们可以看出2009—2019年TFS8的听力测试中：

1）听写长度在大部分年份比较稳定，与《试题提纲》规定的150词的上下浮动不超过10%。但是，个别年度，如2009年（129词）、2016年（176词）、2018年（181词）的差幅较大，分别为-14%，17.3%和20.7%。

2）情景对话的长度年度变化较大，最长的2016年（668词）与最短的2013年（304词）相比，增幅达到119.7%。

3）听力短文的长度相对稳定，除了2016年（199词）略短外，大部分年份集中在250—350词之间，比较符合考生的实际情况。

4）就语篇长度来看，2009—2019年间大部分年份集中在800—1000词。但个别年份变化幅度较大，如最长的2019年（1089词）与最短的2013年（721词）相比，变化幅度达51%。

5）问题部分的单词数个别年份也欠稳定，2009年（477词）与2010年（881词）相差了84.7%。

综上所述，各个部分的差异造成了整个听力测试长度的差异。在这11年间，2009年最短（1267词）；2016年最长（1785词），两者相差40.9%。这说明，试题在语篇长度的稳定性方面还有所欠缺，在一定程度上影响了不同年度试题的公平性。

（2）语速

盛跃东认为：在听力测试中，语速也是试题设计者必须要考虑的一个问题。听力材料的语速不能随心所欲，应以教学大纲为根据。否则，会影响测试的区分度和难易度指数，达不到预期的测试目的⑧盛跃东.《情景听力理解测试的科学性、实用性和可行性—兼析现行大学英语听力理解测试之不足》.外语教学，2001(1)：88-89.。

遗憾的是，对于TFS8，《教学大纲》和《试题提纲》并没有对语速做出明确的规定。《教学大纲》中只是指出第四学年时学生“能听懂难度相当于法国国际电台简明新闻和一般电视文化专题节目（如France-TV Magazine）的材料”⑨王文融等.《高等学校法语专业高年级法语教学大纲(试行)》.北京：外语教学与研究出版社，1997：6.，笔者从环球法语电视五台（TV5monde）网站上的“学法语”（Apprendre le français）栏目中选取了针对具有欧盟语言能力量表中B1和B2水平法语学习者的电视报道各两篇，对语速进行了统计，分别为147.7词/分钟、142.0词/分钟、155.9词/分钟和154.2词/分钟，四篇报道的平均语速为150词/分钟。

本研究分析的语速是朗读每份试题语篇（不含问题）的平均语速，计算公式为：平均语速=语篇单词总数（不含问题）/朗读时长（第一遍朗读的时间）。根据这一公式，对2009—2019年听力测试语篇的语速进行了统计，结果如下表：

表3 2009—2019年TFS8听力测试语篇朗读语速统计

从上表可以看出：2009—2019年TFS8听力测试语速基本稳定，多集中在120—140词/分钟，11年平均语速132.6词/分钟，低于150词/分钟。笔者认为这样的语速是比较合适的。因为像TFS8这样的全国性教学检查类考试，应充分考虑到全国各地区教学水平和条件的差异，采取略低于法国访谈类节目的语速，更符合中国的国情，更有利于测试的区分度，达到预期的测试目的。

（3）语篇难度

听力测试语篇的难度应适当，如果太难或太容易都考不出学生的实际听力水平。目前，学界通常用易读度来衡量语篇难度。本研究将把易读度作为考量听力难度的主要指标，采用比利时学者乔治·亨利（Georges Henry）提出的法语易读度计算方法，计算2009—2019年TFS8试题中听力语篇的易读度指数。

亨利的易读度计算方法如下：首先，分别计算出每篇听力材料的3个数据：1）语篇中平均每个句子所含的单词数量；2）每一百个单词中包含的不在古根海姆基本单词表（Vocabulaire fondamental de Gougenheim）⑩1964年由法国学者乔治·古根海姆（Georges Gougenheim）等人编纂的一份最常用的基本法语单词表。中的单词数量；3）每一百个单词中包含的对话标志⑪对话标志是指文章中出现的感叹号、引出对话的引号以及单独出现的名字的数量之和。的数量。其次，根据每篇文章的上述三个数据，对照亨利提供的对照表，找出每篇文章的易读度数值。数值越大，说明文章越容易。反之说明文章越难。⑫Henry G.Comment mesurer la lisibilité.Paris: Labor-Nathan, 1975, p.103-106.

亨利根据人群知识水平的不同，提供了三种对照表，分别对应比利时的小学高年级水平、初中水平和高中水平。鉴于本研究中TFS8的受试对象为高等院校法语专业四年级学生，所以参照的是高中水平对照表。亨利提出，针对比利时高中学生的文本材料，最佳易读度区间是40—50。本研究中，虽然受试学生为大学本科四年级，但是考虑到中国大部分法语专业的学生是从大学开始学习法语的，实际法语水平应低于母语为法语的比利时高中学生。另外，李筱菊指出：听力材料语言的难度，一般应略低于同级考试的阅读材料。⑬李筱菊，前揭书，第342页.

根据亨利易读度计算方法，本研究对相关听力文本的易读度进行了计算，结果如下：

表4 2009—2019年TFS8听力测试文本易读度统计表

图2 2009—2019 TFS8听力各题型易读度趋势图

综上可见，2009—2019年TFS8听力测试中听写文本除了2011年的文本难度偏大（46）外，其他大多集中在50—60之间，11套题听写难度平均值为54.4。情景对话题型，因其自身的特点，难度较低，主要集中于65—70之间，且各年份难度比较稳定，没有较大起伏，11年平均值为68.6。听力短文难度大部分年度在54—64之间，平均值为57.1。但2019年难度突增，达到45，在一定程度上影响了考试的效度。

（4）话题分布

本研究对2009—2019年TFS8听力测试中的听写和听力短文的话题进行了统计，结果如下：

表5 2009—2019年TFS8听力测试听写和听力短文题型话题分布统计表

图3 2009—2019年TFS8听力测试听写和听力短文话题分布图

由表5和图3可以看到，2009—2019年TFS8听力测试中听写题型话题分布广泛，五种话题均有涉及：日常生活（3篇）、科学技术（1篇）、文学历史（2篇）、国情与社会（4篇）、文化教育（1篇）。听力短文的话题分布除了日常生活没有涉及外，其余四种均有涉及：科学技术（1篇）、文学历史（2篇）、国情与社会（5篇）、文化教育（3篇）。整体来看，TFS-8听写和听力短文话题覆盖面较广，其中又以国情与社会类为主（9篇，占41%），体现了《教学大纲》中“注重扩充语言知识和社会文化知识”⑭王文融等，前揭书，第4页。的教学目的，同时又以其他类型话题为辅，符合法语专业的学科特点，遵循了《教学大纲》中“应大力拓展学生的语言视野，丰富语言表达手段，增强综合运用语言的能力”⑮同上，第5页。的教学原则，整体效度较高。

3.听力试题的预期回答分析

预期回答任务特征主要是分析TFS8听力理解部分所考查的技能。

《教学大纲》中对于法语专业四年级学生应具备的听力能力规定的比较笼统：“能听懂难度相当于法国国际电台简明新闻和一般电视文化专题节目（如France-TV Magazine）的材料。听三遍后，能听懂主要内容，抓住重点，理解准确率以70%为合格。”⑯同上，第6页。在其附件二《高年级测试参考方案》中，听力项目的目的在于“检查学生听懂简明新闻等听力材料的能力和作出反应的能力”⑰同上，第166页。。《试题提纲》也未对TFS-8听力测试部分要测试的能力做出具体的规定。

听力理解是一个非常复杂的过程。此过程中，语言知识、非语言知识以及声音信号之间相互作用，听者运用不同的信息加工方式来构建所听材料的意义。本研究将根据加利·布克（Gary Buck）的“默认的听力构念”理论来确定TFS8应考察的技能。他认为听力能力应包括以下三个方面：1）对即时发生的、真实的、较长的口语语料自动进行信息加工的能力；2）对听力材料中明确表达的信息的理解能力；3）根据听力材料中隐含信息进行推断的能力。⑱Buck G.Assessing Listening.Cambridge: Cambridge University Press, 2001, p.104.其中第一个方面主要是说明听力材料和听力任务的属性；第二和第三个方面则是说明考生应具备的能力。⑲卢晓仙.《高考英语听力测试构念效度研究——以湖北省高考英语听力试题为例》.中国考试，2013(4)：28.

由此，本研究确定了TFS8所考查的四种技能：1）理解主旨和要义；2）获取重要、特定细节；3）理解说话者的意图、观点和态度；4）推断隐含意义。⑳四种技能的分类标准和举例详见附件1。

本研究对2009—2019年TFS8听力测试中情景对话和听力短文两种题型所要考查的听力技能进行了统计，如表6所示。

表6 2009—2019年TFS8听力测试情景对话和听力短文所考察的听力技能覆盖情况统计表

图4 2009—2019 TFS8听力测试中情景对话和听力短文所要考察的听力技能分布图

分析结果表明，2009—2019年TFS8听力测试中的情景对话和听力短文试题中考察“获取重要、特定的细节”类题型占55%，其次为理解“主旨和要义”类题型，占21.8%，“理解说话者的意图、观点和态度”以及“推断隐含意义”分别为10.9%和12.3%。前两类题型主要考查学生利用语言知识获取信息的能力，而后两类题型则需要学生运用自己的世界知识、情景知识和人际交互信息去推测和提取听力材料的意义。整体而言，2009—2019年TFS8中前两类题型占76.8%，可见TFS8听力理解侧重于考查学生获取信息的能力。一些学者认为考查隐含意思理解的试题难度大于考查表层意思理解的试题难度，即后两类题型难度高于前两类。[21]Brindley G.“Assessing Listening Abilities”.Annual Review of Applied Linguistics, 1998 (18): 171-191.; Hansen C.& Jensen C.“Evaluating Lecture Comprehension”.In Flowerdew J.(Eds.) Academic listening: Research perspectives.New York: Cambridge University Press, 1994: 241-268.较简单的“获取重要、特定的细节”“主旨和要义”题型占较大比重体现了TFS8作为全国性教学检查类考试的特点，应照顾到全国各高校的教学条件的差异，以考查学生基本语言能力为目的。但是，不可否认的是“理解说话者的意图、观点和态度”以及“推断隐含意义”能力是实际交际中常用的技能，这两类题型的考察更能体现学生的实际交际能力和《教学大纲》中规定的教学目的和原则：“强调培养综合运用语言的能力”，“法语高年级教学应继续提高学生正确、得体、有效地运用外语进行交际的能力”[22]王文融等，前揭书，第4-5页。。因此，本研究认为“理解说话者的意图、观点和态度”和“推断隐含意义”类题型在考试中所占的比例应适当提高。

结 语

通过对2009—2019年TFS8听力测试的实证研究，本文得出以下结论：

1）整体来说，TFS8内容效度较高，测试语篇朗读速度、难度基本适中，话题分布广泛，考查的听力技能覆盖全面。

2）同时，TFS8听力测试也存在一些不足，如：语篇长度不够稳定，个别年份语速偏快，个别语篇难度偏大，在预期回答中，对“理解说话人的意图、观点和态度”和“推断隐含意义”技能的考查所占比重偏小。

基于上述研究结果，本文尝试为TFS8听力测试提出以下建议：

1）尽快更新和完善测试依据的标准——《教学大纲》和《试题提纲》。

目前，TFS8命题依据是1997年颁布的《高等学校法语专业高年级法语教学大纲（试行）》。近些年来，随着社会的发展，无论是教学理念还是学生的学习需求都在悄然发生着变化，显然老的《教学大纲》和新的形式并不相适宜。目前使用的TFS8《试题提纲》是由教育部高等学校外语专业教学指导委员会法语分委员会于2015年修订的，但是规定的内容过于简单，对于听力测试的篇章长度、难易程度、阅读速度、话题分布、体裁分布等相关内容都欠缺具体规定。因此，有必要对两者进行及时的更新和完善。这是保证TFS8公平性、科学性、规范性的前提条件。

2）在TFS8听力测试的命题方面，建议：

首先，TFS8听力测试的试题应在语篇长度、语速、考察技能等方面更加稳定，避免各年份之间出现较大偏差。

其次，适当降低选择题的比例。诚然，多项选择题以其高信度和阅卷高效率的特点，广泛应用于一些大型考试。但是这种题型也存在着诸多弊端，如：难以排除考生在考试过程中存在猜测因素，即使考生对听力材料一无所知，在三选一的过程中，依然有33%的猜中几率。特别是在强调培养学生语言交际能力的今天，选择题只能考查考生的语言输入技能，并不能考察其语言输出技能，因而也就无法考查考生实际运用语言的能力。因此，建议TFS8适当增加主观题型，如情景对话可采用选择题形式，听力短文则可采用问答题与选择题相结合的形式。这样更有利于考查考生使用语言进行交际的能力。同时，又可以达到与国外考试，如法语学习文凭-法语深入学习文凭（DELF-DALF）题型接轨的目的。

附件1：TFS8听力理解考察的四种技能的分类原则和举例说明

1）理解主旨和要义题主要考查学生把握全文主题和中心思想的能力，通常以概括大意、选择标题等形式出现。

[示例] — Tu n’es pas contente.Et pourtant tu aimes faire des achats !

—Non, et je vais t’expliquer pourquoi.Tu m’as demandé de te conseiller dans l’achat d’une veste.Mais dès que nous arrivons devant le magasin, tu manifestes le désir d’acheter une veste bleue dans laquelle tu seras parfaitement ridicule.

Question : Qu’est-ce qui s’est passé entre ces deux personnes ?

A.Le monsieur a demandé à la dame si elle était contente, et elle lui a répondu qu’il était ridicule.

B.Le monsieur a demandé à la dame de le conseiller dans l’achat d’une veste, mais la dame a refusé de le faire.

C.Le monsieur voulait choisir une veste en vitrine, mais la dame ne l’aimait pas du tout.

（2011年TFS8情景对话第6题）

2）获取重要、特定细节题主要考查考生对文章中的细节和具体事实的把握能力。内容常涉及具体事实、原因、结果等。

[示例] — Alors, qui joue aujourd’hui ?

— Les clubs de judo et de gymnastique de Marseille.

— L’équipe de foot ne participe pas ?

— Non, mais ils organisent la parade finale avec les joueurs de tennis et de volley-ball.

Question: Quels clubs de sport jouent aujourd’hui ?

A.Les clubs de foot et de gymnastique.

B.Les clubs de foot et de volley-ball.

C.Les clubs de judo et de gymnastique.

（2014年TFS8情景对话第1题）

3）理解说话人意图、观点或态度类题目，主要考查考生把握说话人态度、倾向性的能力，需要考生对材料有较深刻的理解，在必要的时候还需进行一定程度的推理、揣摩。这类题目典型的提问方式是“……的态度/观点是什么？”。

[示例] — Il fait bon vivre dans le Midi.

— Tu plaisantes ! Ils ont autant de problèmes que les autres.

Question: Quelle est l’attitude de la femme ?

A.Elle n’est pas aussi optimiste que son mari.

B.Elle est plus optimiste que son mari.

C.Elle est aussi optimiste que son mari.

（2014年TFS8情景对话第7题）

4）推断隐含意义类型的题目要求考生根据文章的某个句子、段落或全文所提供的事实进行逻辑推理，推断出作者没有提到或没有明说的事实或可能发生的事情。典型的提问方式是“……意味着……？”。

[示例] — Décidément, on ne s’entend plus.Tiens, pour prendre un exemple, votre musique, qu’est-ce que c’est ? Du bruit, plus d’humain là-dedans.

— Pardon, ce que nous cherchons, c’est le rythme, la gaieté.La musique que j’aime, c’est celle qui me fait bouger.

Question: Qu’est-ce que le père a voulu dire ?

A.Il ne comprend plus la musique des jeunes.

B.Il n’entend plus la musique à cause du bruit.

C.Le bruit est plus humain que la musique.

（2013年TFS8情景对话第8题）