第二外语读音处理时脑活动差异的功能性磁共振成像研究

李修军，郭启勇，吴景龙

（1.长春理工大学 计算机科学技术学院，长春 130022；2.中国医科大学附属盛京医院 放射科，沈阳 110004；3.日本冈山大学 自然科学研究生院，冈山 700-8530）

语言是人脑所特有的一种高级功能，是人类社会信息传递的主要形式。如何让计算机的中文处理达到人脑的水平，开发更接近人类的智能机器，是人工智能领域的热门课题。研究人脑的语音加工处理机制是实现人工智能的重要理论基础和前沿研究。在语音加工处理研究中，语音控制与语音模式识别是其中重要的一部分，本研究将对中文和日文的读音处理进行深入研究。

目前，应用功能性磁共振成像技术研究语言加工脑机制是应用语言学和认知神经科学的热点问题和前沿研究。尤其像是对汉语-英语第二外语的研究已经取得了部分科研成果［1-5］，但关于汉语-日语第二外语的研究才刚刚起步。功能磁共振成像技术能对大脑的结构和活动状态进行成像，进而辅助医疗诊断的设备，和其他手段相比（比如脑电（ERP，Event-Related Potentials）等）具有高空间解像度的优势，能达到毫米级。本实验采用功能磁共振成像技术探讨中日双语被试第二外语读音加工的脑机制。

第二外语教学中，常常发现这样一个问题，有些学生认为英语入门难，学起来会越来越简单，而有些学生认为日语却是入门简单越学越难。原因是什么呢？原因之一是与语系有关。日语和汉语属于同一语系，具有相似的特点。而英语对于中国人来说则是完全陌生的语言。本研究被试为中日双语者，即学过日语的中国人。近年来国内外众多语言研究者围绕着这一科研课题进行了大量的行为学实验和脑神经影像学的研究［6-9］，并且得到了一些科研成果，这些成果对语言课堂教学提供了基础数据和理论依据。

有关中-英双语研究中，具有代表性的是Tan等人［3］用第二外语是英语的大学生和母语为英语的被试，研究了母语和第二外语脑功能的差异，并确定了部分中-英第二外语的特有脑区。但是英语为字符语言，汉字为象形文字，二者之间无论从形态上还是发音上都存在很大的差异。本实验将利用中日双语被试，使用中文读音判断任务和日文读音判断任务对此内容做深入的研究。

1 实验

1.1 被试

实验使用中-日双语被试共计15人，其中男8人，女7人，平均年龄23.08岁，均为沈阳中国医科大学七年制本硕连读学生，所有被试均符合身体健康，无精神类疾病，右利手，视力听力正常的条件。所有被试在实验前均进行了日语水平1级测试并签署了由中国医科大学伦理委员会制定的《知情同意书》。

1.2 实验刺激

本实验刺激分为中文读音相关刺激和日文读音相关刺激（表1中只给出了中文刺激，日文刺激和其类似）两种。被试将对两种刺激分别进行判断。两种刺激分别根据读音配对成相同组和不同组，各24对，如成功（cheng gong）-进攻（jin gong）为相同组，紧张（jin zhang）-放弃（fang-qi）为不同组。共组成48张图片，作为控制刺激使用字号大小判断刺激，使用字号为127和107的两种非词语刺激，图片像素为245×245，显示器分辨率采用1024×768，实验中使用的视角为8度。两个刺激之间用一个“+”作为固视点，所有刺激均以黑底白字的形式呈现给被试。

表1 实验刺激图

1.3 实验任务

在功能性核磁共振实验扫描时，所有的实验刺激通过反光镜折射至被试眼部。在进行序列扫描时要求被试头不动（头动超过1.5mm的被试将被剔除），根据提示语对屏幕中同时出现的两个汉语单词或日语单词的读音是否相同或者字号是否相同进行辨别，相同时用左手拇指按键，不同时用右手拇指按键。四种实验刺激均随机出现。刺激呈现时间均为2500ms，间隔时间为1500ms，一个组块为24s。间隔的时候只提示注视点“+”。一共48个刺激，一个序列的时间就是大约6分钟。然后为了制作个人的标准脑图像和图像对齐我们加扫了3D和T1图像。

1.4 数据采集与分析

数据采集：本实验采用中国医科大学附属盛京医院的Philips Intera Achieva 3.0T超导型MR扫描系统，刺激仪为深圳美德公司的SA9900视听觉刺激提示系统，应用8通道SENSE头线圈，层厚为3.5mm，TR为2s，TE为30ms。

数据分析：首先把所有文件统一放在一个文件夹里以便后面的数据处理，然后将原始数据的Dicom文件使用MRIcro软件进行数据转换，转换为Matlab7.5能够识别的文件格式（即.hdr和.img格式）。接下来使用基于Matlab7.5的SPM5软件（www.fil.ion.ucl.ac.uk）进行图像后期处理。后处理包括：一、前处理：（1）头动校正和图像的配准（Realign），（2）空间标准化（Normalize），（3）平滑化（Smoothing）；二、统计分析处理。在个人结果处理时，采用一般线性模型（General Linear Model，Y＝βX+E），得出对比图像（具体结果后面有详细说明）。在平均结果处理时，采用随机效应模型（Random Effects Models），对数据分别进行单样本和双样本t检验分析，阈值采用 p＜0.001（uncorrected）。将汉字读音判断任务与日语读音判断任务相减做比较得到二者的对比图像。

1.5 实验结果

所有被试的fMRI脑成像平均结果如图1所示，中日双语被试在进行日文读音加工任务时激活了一个由多个脑区参与构成的汉字读音加工处理的脑神经网络，主要包括：视觉区（BA17/18/19/37），其主要功能是负责视觉信息的处理；颞叶（BA21/22/38），是多感觉处理区，比如听觉，触觉等；顶叶（BA7/40），其主要负责时间及空间位置判断；额叶（BA9/44/45/46），其主要负责读音词汇等信息的处理和认知机能的处理（P＜0.001）。而在进行中文读音加工任务时，则激活了很少的脑区，主要集中在顶叶（BA7/40），这部分的功能主要负责时间及空间位置判断（P＜0.001）。

图1 中日双语被试日文读音和中文读音判断时各自的脑激活情况

图2 中日双语被试进行日文与中文读音判断时差异性脑区的脑激活情况

如图2所示，对于中日双语被试，日文读音判断任务和中文读音判断任务相减，得到了二者差异性脑区，即日文读音处理脑区。其中主要包括：右侧额叶下回（BA44/45），右侧颞叶（BA7/40），左侧纺锤状回（BA37）（P＜0.001，如表2所示）。

2 讨论

本研究主要是利用中文与日文双语被试，使用中文读音判断和日文读音判断两种实验任务与字号大小判断任务，通过功能性磁共振成像技术比较被试在判断日文读音和中文读音任务中不同的脑激活情况，结果得到了中-日双语被试在进行日语读音处理和中文读音处理时的差异性脑区，然后根据这些特殊脑区探讨中文与日文第二外语脑神经机制。本实验中在进行读音加工任务时，激活了由多个脑区构成的神经网络（见图1），与以往对第二外语（中英文以及中日文）的研究结果均相近［3，6，10-13］。

中日双语被试在第二外语读音判断时的脑神经网络如下：主要激活脑区为右侧额叶下回（BA44/45），右侧颞叶（BA7/40），左侧纺锤状回（BA37）。其中右侧额叶下回（BA44/45）是布洛卡区，是公认的语言处理脑区，本实验中此脑区的激活主要是语言的词汇和音韵的处理机能，这和被试辨别语言的读音处理相关。右侧颞叶（BA7/40）是空间位置判断脑区，本实验中主要可能是被试判断汉语和日语在屏幕中的位置关系导致的激活。左侧BA37是纺锤状回，这个脑区的主要功能是物体的形状处理，本实验中此脑区的激活可能和汉字或日文形态处理相关，即被试虽然是进行读音判断，由于是视觉刺激的形式提示，所以此脑区也会有相应的激活。

以上结果显示，中日双语被试组进行日文读音判断和中文读音判断时脑功能存在差异，本文认为这些差异性脑区为中-日第二外语读音处理脑区，尤其是进行中文读音判断时激活区域非常小，这可能是对于被试来说任务过于简单，很容易就能判断出来。有众多研究者对母语和第二外语进行了研究发现母语与第二外语存在巨大的差异，比如中国人虽然熟练的学习了英语（经过测试分值较高者），但是和美国人相比其在英语加工时，并没有激活美国人加工英语时的某些特定的脑区。但是日语和汉语属于同一语系，均为象形文字，那么作为第二外语它们之间是否有相同的特定脑区呢？本实验给出了强有力的证据，验证了即使是同一语系的汉语和日语在进行读音判断任务时也是有不同的激活脑区。这样的结果告诉我们在进行第二外语课题教学的时候就要根据不同的外语采取不同的教学方法，比如日语和英语，只有这样才能更加有效提高教学质量。

3 结论

实验结果表明，中日双语被试在进行中文读音处理和日文读音处理时脑活动之间存在差异，主要集中在以下脑区：右侧额叶下回（BA44/45），右侧颞叶（BA7/40），左侧纺锤状回（BA37）。

［1］何文广，陈宝国.语言对认知的影响——基于双语认知“优势效应”的分析［J］.心理科学进展，2011，19（11）：1615-1624.

［2］王瑞明，邓汉深，李俊杰，等.中-英双语者语言理解中非加工语言的自动激活［J］.心理学报，2011，43（7）：771-783.

［3］Tan L，Spinks J，Feng C，et al.Neural systems of second language reading are shaped by native language［J］.Hum Brain Mapp，2003，18：158-166.

［4］董奇，薛贵.双语脑机制的几个重要问题及其当前研究进展［J］.北京师范大学学报：人文社会科学版，2001，4（166）：91-98.

［5］陈莹.第二语言语音感知研究的理论基础和教学意义［J］.外国语，2013，36（3）：68-76.

［6］Yokoyama S，Kim J，Uchida S，et al.Left middle temporal deactivation caused by insufficient second language word comprehension by Chinese–Japanese bilinguals［J］.Journal of Neurolinguistics，2009，22：467-485.

［7］许贵芳，吕勇，宋娟.第二语言语音获得的影响因素及其脑机制［J］.现代生物医学进展，2008，8（9）：1725-1728.

［8］翟洪昌，任静，肖胜勇，等.读写分离的脑机制：来自fMRI的证据［J］.心理学报，2011，43（2）：132-142.

［9］Siok W T，Niu Z D，Jin Z，et al.A structural-functional basis for dyslexia in the cortex of Chinese readers［J］.Proceedings of the National Academy of Sciences，2008，105（14）：5561-5566.

［10］Pu Y，Liu H L，Spinks J A，et al.Cerebral hemodynamicresponse in Chinese（first）and English（second）language processing revealed by event-related functional MRI［J］.Magnetic Resonance Imaging，2001，19（5）：643-647.

［11］Perani D，Dehaene S，Grassi F，et al.Brain processing of native and foreign languages［J］.NeuroReport，1996，7：2439-2444.

［12］Li G，Cheung T，Gao F R，et al.Cognitive processing in Chinese literate and illiterate subjects：An fMRI study［J］.Human Brain Mapping，2006，27：144-152.

［13］Petersson KM，Reis A，Castro Caldas A，et al.Effective auditory-verbal encoding activates the left prefrontal and the medial temporal lobes：a generalization to illiterate subjects［J］.Neuroimage，1999，10：45-54.