大鼠奖励性条件反射实验中的影响因素

杨玉洁，王克柱，董黎明，姜 宁，范琳犀，张宏霞，吕静薇，陈善广，刘新民，王 琼*

(1.西南医科大学附属中医医院中葡中医药国际合作中心，四川 泸州 646000； 2.西南医科大学药学院药理教研室，四川 泸州 646000；3.中国医学科学院药用植物研究所，北京 100193； 4.广东东阳光药业有限公司，广东 东莞 523808；5.湖南中医药大学，长沙 410208； 6.中国航天员科研训练中心，北京 100193)

19世纪末到20世纪初，伊万·巴甫洛夫和桑代克分别提出了经典条件反射理论和动物学习定律，到20世纪30年代后期B. F. 斯金纳在前人的基础上提出了操作性条件反射理论，并研制出斯金纳箱，成为操作式条件反射理论的奠基者。随着神经科学研究的深入，国内外众多研究者将经典条件反射理论广泛应用于研究认知行为。本实验室在此基础上研制了国内首台奖励性操作式条件反射检测分析处理系统，通过条件性刺激(stimulus，S)、踏板操作(response，R)、物质奖励(outcome，O)建立了一种关联性的认知检测模式，先在条件刺激下训练动物获得奖赏，建立条件反射(S-O)联系，再利用踏板和条件刺激的关联获得奖赏，建立操作条件反射(S-R-O)联系。与传统的认知行为评价方法(如：跳台、穿梭、避暗等)单一的学习记忆能力检测相比，该检测系统可用于多方面考察动物的联合性学习记忆能力，包括进行复杂任务时的兴趣、动机、反应力、执行力、信号辨识力、决策力和记忆力等相关认知能力表现。目前，奖励性操作式条件反射检测分析处理系统正在成为一种在评价动物认知功能领域中新起的无伤害刺激且准确可靠的行为学实验方法。

奖励性条件反射理论在国际上运用广泛，但至今对其所涉及到的一些实验因素无明确比较和研究，因此本研究通过探讨不同颜色光刺激、不同刺激时长和昼/夜训练三种实验因素对大鼠奖赏性条件反射实验的影响，为规范奖励性条件反射实验方法学提供依据。

1 材料和方法

1.1 实验动物

实验一：SPF级雄性Wistar大鼠30只，8周龄，体重(290±10) g。实验二：SPF级雄性Wistar大鼠32只，8周龄，体重(290±10) g。实验三：SPF级雄性Wistar大鼠16只，8周龄，体重(290±10) g。均购自北京维通利华实验动物科技有限公司[SCXK (京) 2016-0011]。实验室安静，温度恒温保持在22℃～25℃，湿度条件为(55±10)%，12 h照明/12 h黑暗环境(8:30～20:30亮灯)[SYXK (京) 2013-0023]，饲养期间给予标准饲料及洁净自来水。所有动物实验遵守国际实验动物伦理学要求，实验过程中按实验动物使用的3R原则给予人道主义关怀。

1.2 主要仪器

奖励性操作式条件反射检测分析处理系统，由中国医学科学院药用植物研究所与中国航天员科研训练中心联合研制。测试系统包括4个测试箱，每个测试箱的内侧壁安装有两套蔗糖水奖赏装置、踏板装置以及三色信号灯，左右对称。奖赏装置下方安装宽度为4 cm的踏板装置，踏板上方各有一个三色信号灯(红、黄、蓝)。内箱的顶部安装有摄像装置和环境光源，可以实时监控动物在测试箱内暗环境下的行为活动。

1.3 实验方法

1.3.1 不同颜色光刺激对大鼠奖励性条件反射实验的影响

(1)饮食限制与双瓶喂养：30只大鼠随机分为3组，适应环境3天后，开始饮食限制。采用双瓶喂养的方法，给予动物两瓶饮水，每只大鼠每天给予30 mL的8%蔗糖水或纯净水。两瓶饮水每天位置对换，以免动物偏爱其中某一方位。饮水控制的同时，每只大鼠每天给予鼠粮14～17 g，连续饮食限制10 d，目的是使限食后的动物体重减轻到正常进食动物体重的80%～85%[1]，此时动物对食物的渴求动机最大，同时不影响动物正常的生理需求。

图1 奖励性条件反射实验操作流程Fig.1 Operational process of the reward conditioned reflex experiment

(2)经典的奖励性条件反射：三组动物第9天开始，按照图1操作流程进行为期1 d的适应训练，即动物自由适应模式，奖赏装置每(60±10) s自动给予一滴0.2 mL 20%蔗糖水，实验时间30 min。第10天动物开始进行为期7 d的奖励性条件反射的训练阶段。在奖励性条件反射训练期中，踏板缩回，红色光刺激信号组给予红灯刺激，黄色光刺激信号组给予黄灯刺激，蓝色光刺激信号组给予蓝灯刺激，周期性亮灯，每次亮灯10 s，此时动物探索饮水盒时自动促发红外感应装置，发出信号至计算机，并反馈到奖赏装置自动给予一滴奖赏物质(0.2 mL)，我们将此定义为正确鼻触反应，鼻触次数被记为正确鼻触次数(correct nose pokes，CNPs)；10 s之后信号灯熄灭，实验进入间隔期(30±5) s，若此时动物进行探索饮水盒，将没有奖赏物质的获得，同样系统也会记录其鼻触反应，我们将其定义为错误鼻触反应，鼻触次数被记为错误鼻触次数(incorrect nose pokes，INPs)。每天训练20 min，连续训练7 d。记录正确鼻触次数、错误鼻触次数等，动物的学习能力及奖励性条件反射获得能力通过比较正确鼻触次数和鼻触正确率[CNPs/(CNPs + INPs)]表现出来。

1.3.2 不同刺激时长对大鼠奖励性条件反射实验的影响

(1)饮食限制与双瓶喂养：实验方法同1.3.1中(1)所述。

(2)经典的奖励性条件反射：实验方法同1.3.1中(2)所述，但在奖励性条件反射训练模式中，实验参数为：Ⅰ组：灯亮持续时间10 s，实验时长20 min；Ⅱ组：灯亮持续时间30 s，实验时长22.5 min；Ⅲ组：灯亮持续时间60 s，实验时长30 min。三组均将蓝灯作为刺激信号，周期次亮灯，亮灯次数均为15次，其他参数相同。记录正确鼻触次数、鼻触正确率等指标。

1.3.3 昼/夜训练对大鼠奖励性条件反射实验的影响

(1)饮食限制与双瓶喂养：实验方法同1.3.1中(1)所述。

(2)经典的奖励性条件反射：实验方法同1.3.1中(2)所述，每组连续训练7 d，每天一次，每次实验时长20 min，记录正确鼻触次数、鼻触正确率等指标。

1.4 统计学方法

2 结果

注：红光刺激与蓝光刺激比较，* P< 0.05，**P< 0.01，***P< 0.001；黄光刺激与蓝光刺激比较，# P< 0.05，## P< 0.01。图2 三种光刺激对Wistar大鼠奖励性条件反射实验的影响Note. Right light stimulus compared with blue light stimulus,*P< 0.05,**P< 0.01,***P< 0.001. Yellow light stimulus compared with blue light stimulus,#P< 0.05,##P< 0.01.Fig.2 Effects of light stimulation with three different color on the reward conditioned reflex of Wistar rats

2.1 三种颜色光刺激对大鼠奖励性条件反射实验的影响

如图2可以看出，随着训练天数的增加，三个组别的大鼠的正确鼻触次数、鼻触正确率均逐渐上升，到第5天基本达到稳定值。鼻触潜伏期代表动物首次进行鼻触反应的时间，反映出动物对S-O关联的记忆程度，图中看出三个组别的鼻触潜伏期随着训练的延长均呈现大幅度下降趋势。在训练第1天、第2天三组大鼠的正确鼻触次数和错误鼻触次数即差异有显著性，可能是由于大鼠对新环境的熟悉程度不一致导致的，由于学习是一个循序渐进的过程，所以不能说明其学习能力有差异。对奖赏训练中的运动路程与平均速度比较发现(图3)，动物在三种不同颜色光刺激下的运动路程与平均速度相似，差异无显著性。

2.2 不同光刺激时长对奖赏条件反射记忆获得的影响

如图4显示，与刺激持续时间10 s比较，30 s和60 s组大鼠的正确鼻触次数显著升高。同样鼻触正确率也在缓慢提高。奖赏训练前3 d，10 s组大鼠的潜伏期最长，说明大鼠对奖赏的记忆能力最差。

2.3 昼/夜训练对大鼠奖励性条件反射实验的影响

如图5所示，白天训练组与夜晚训练组二者间的正确鼻触次数、鼻触潜伏期和鼻触正确率差异均无显著性。

图3 三种颜色光刺激对Wistar大鼠运动路程和平均速度的影响Fig.3 Effect of light stimulation with three different color on the movement distance and average speed of Wistar rats in the reward conditioned reflex test

注：与10 s组比较，* P< 0.05，**P< 0.01，***P< 0.001；与30 s组比较，# P< 0.05，## P< 0.01，### P< 0.001。图4 光刺激时长对大鼠奖赏条件反射实验的影响Note. Compared with the 10 s group,*P< 0.05,**P< 0.01,***P< 0.001. Compared with the 30 s group,#P< 0.05,##P< 0.01,###P< 0.001.Fig.4 Effect of time duration of conditioned stimulus on reward conditioned reflex of the rats

3 讨论

经典条件反射理论长久以来被应用于认知行为学研究，包括奖励性条件反射和惩罚性条件反射。目前常用的评价认知行为的实验方法中穿梭、避暗、跳台、Y迷宫等均是建立在条件反射理论的基础上，但这些给予厌恶条件和惩罚刺激的行为学实验会对动物的心理和生理产生一定影响，而奖励性条件反射理论的应用减小了对动物本身的伤害，更加符合国际上对实验动物的3R原则[2]，保证实验结果的科学性和准确性。课题组研究团队研发的奖励性操作条件反射实时测试系统是一种精细敏感的的认知功能评测系统，利用计算机对信号资源进行综合分析、优化重组，建立了针对不同认知功能与操作方式的实验模式，以及针对不同操作任务与学习记忆评价的敏感行为评价指标体系[3]，是国内首台应用于大鼠的奖励性操作条件反射检测系统。国外有大量文献报道奖励性操作条件反射实验方法，研究对象主要为昆虫[4-5]、斑马鱼[6]、软体动物[7]，检测指标主要为探头潜伏期[8]，而此奖励性操作条件反射检测系统不仅能记录动物轨迹，还能自动统计动物的鼻触次数、鼻触潜伏期、正确鼻触次数、运动路程与速度等，该系统还能进行信号识别辨识，位置信号识别等实验，可多方面评价动物的学习、记忆、判断与执行能力。

本课题组前期研究了动物品系对奖赏条件反射和操作式条件反射的行为学差异，发现雄性SD大鼠对奖赏条件反射经典条件反射阶段对饮水盒的探索能力强，表现出对奖赏物质较强的兴趣；而在奖赏操作条件反射阶段雄性Wistar大鼠的表现优于雄性SD大鼠[9]。故本研究选择雄性Wistar大鼠作为实验对象，综合探讨不同实验因素对大鼠奖励性条件反射获得的影响，为奖励性操作条件反射实验做铺垫。

图5 昼/夜训练对大鼠奖励性条件反射实验的影响Fig.5 Effect of day/night training on reward conditioned reflex of the rats

奖励性条件反射在巴浦洛夫[10]经典条件反射基础上，条件刺激可为光刺激或声音刺激[11]，奖赏物质可为固体食物或糖水，建立动物自主获得奖赏物的条件反射。在奖励性条件反射中，动物将条件刺激与奖赏物结合在一起，产生正性作用，起到预测奖励的作用[12]。为研究不同光刺激对大鼠条件反射建立的影响，本实验选取三种光作为条件刺激，红色、蓝色和黄色，同时也考察大鼠的视觉识别能力。啮齿类动物的视觉辨别能力是由其体内的SWS1(shortwavelengthsensitivetype1)和LWS(longwavelengthsensitivetype)基因家族控制[13]，且大、小鼠的SWS1色素只能接收紫外光(400 nm)，LWS色素可接收光波长为510～540 nm的光[14]。而红光波长为620～750 nm，蓝光波长为460～480 nm[15]，黄光波长为570～590 nm，因此，大鼠对蓝光较其他两光源更敏感[16]。但从本实验结果可得出，三组动物的鼻触次数、正确鼻触率、鼻触潜伏期、运动路程及速度差异均无显著性。说明三组运功能力相当，不存在由于运动功能缺陷导致的条件反射记忆获得的差异，所以红、黄、蓝三种光刺激对大鼠奖励性条件反射的获得无影响。

大量研究表明，训练次数的增加对条件反射的建立有促进作用，可形成长期的条件反射记忆[5, 17]。要建立稳定的条件反射，条件刺激信号须反复出现，且经不断训练，动物才能逐渐习得信号与奖励间的关联。条件刺激在条件反射习得过程中充当了一种强有效的条件强化物，能加固非条件刺激与奖赏物之间的联系[18]。故本研究考察条件刺激持续时间的长短对条件反射获得的影响，发现当训练天数及其他参数一致时，前3 d条件刺激时间为10 s时，动物对奖励条件的记忆力最差，而当条件刺激作用30 s或60 s时，动物表现出对奖励物有很强的兴趣，且鼻触正确率显著提高。本实验室前期研究者石哲[19]选择给予蓝光条件刺激持续10 s[20]，每天训练一次，共训练10 d，动物对奖励物也表现出强烈的探索兴趣，条件反射形成。结合本次实验结果，可以说明适当延长条件强化物的持续时间有利于在短时间内建立良好的条件反射，提高动物记忆效率。

几个世纪以来关于植物[21]和动物[22]的昼夜节律的研究众多，机体的一切生理活动均受昼夜节律的控制，如睡眠、激素分泌和行为等[23]，昼夜节律对认知功能的影响也有大量报道[24-27]。几项研究表明，生物钟对学习和记忆的影响可能是不相同的。在某些情况下，形成记忆的能力可能与昼夜节律相独立，但时间戳作为联系回忆与表现的线索，在仓鼠[28]和大鼠[29]学习后间隔24 h内会更好。在其他情况下，回忆可能很大程度上与检测阶段无关，但记忆的获取或整合可能取决于训练的昼夜节律，如软体动物[30-31]、昆虫[27,32-33]、鱼[34]和小鼠[35]。Cain等人[36]研究了Wistar大鼠与Long Evans大鼠两种大鼠的条件位置偏好的时间节律，发现大鼠品系对学习记忆任务的表现有很大影响，一天中某个特定时间点的学习任务作为一个变量对Wistar大鼠的影响更大。目前，大多数行为学实验是在白天进行，而啮齿类动物属夜行性动物，在研究昼/夜训练对奖励性条件反射实验的影响时，结果显示白天训练组与夜晚训练组大鼠的正确鼻触次数和鼻触正确率没有明显差异，说明昼/夜训练不影响大鼠奖励性条件反射的习得。但对大鼠奖励性操作条件反射是否受昼夜节律影响，还需深入研究。

此次研究首次探讨了三种因素对大鼠奖励性条件反射实验的影响，结果说明了三种不同颜色的光刺激对大鼠条件反射的习得无影响，但光刺激时间长短对其学习成绩有影响，适当增长光刺激时间有利于条件反射的形成。同时，实验结果也表明昼/夜训练对大鼠训练成绩无影响，可在白天进行与奖励性条件反射相关的训练。

[1] Shi Z, Sun X, Liu X, et al. Evaluation of an Aβ(1-40)-induced cognitive deficit in rat using a reward-directed instrumental learning task [J]. Behav Brain Res, 2012, 234(2): 323-333.

[2] 石哲, 陈善广, 陈玲玲, 等. 奖励性操作式条件反射任务在大鼠学习记忆研究中的应用 [J]. 中国实验动物学报, 2012, 20(4): 9-15.

[3] 陈铃铃. 基于奖励性操作条件反射的开心散益智药效研究 [D]. 湖南中医药大学, 2013.

[4] Hussaini SA, Komischke B, Menzel R, et al. Forward and backward second-order Pavlovian conditioning in honeybees [J]. Learn Mem, 2007, 14(10): 678-683.

[5] Menda G, Bar HY, Arthur BJ, et al. Classical conditioning through auditory stimuli in Drosophila: methods and models [J]. J Exp Biol, 2011, 214(Pt 17): 2864-2870.

[6] Valente A, Huang KH, Portugues R, et al. Ontogeny of classical and operant learning behaviors in zebrafish [J]. Learn Mem, 2012, 19(4): 170-177.

[7] Ribeiro MJ, Schofield MG, Kemenes I, et al. Activation of MAPK is necessary for long-term memory consolidation following food-reward conditioning [J]. Learn Mem, 2005, 12(5): 538-545.

[8] O’Connor EC, Crombag HS, Mead AN, et al. The mGluR5 antagonist MTEP dissociates the acquisition of predictive and incentive motivational properties of reward-paired stimuli in mice [J]. Neuropsychopharmacology, 2010, 35(8): 1807-1817.

[9] 王克柱, 徐攀, 卢聪, 等. 两品系大鼠在经典条件反射和操作式条件反射中的行为学表现 [J]. 中国实验动物学报, 2016, 24(1): 65-71.

[10] Pavlov IP. Conditioned reflexes. New York: Dover, 1960.

[11] Ranaldi R, Egan J, Kest K, et al. Repeated heroin in rats produces locomotor sensitization and enhances appetitive Pavlovian and instrumental learning involving food reward [J]. Pharmacol Biochem Behav, 2009, 91(3): 351-357.

[12] 王克柱. 基于奖赏操作的慢性束缚应激所致大鼠认知功能损伤及Rg1, Rb1防护作用研究 [D]. 中国医学科学院 北京协和医学院, 2016.

[13] Jacobs GH. Evolution of colour vision in mammals [J]. Philos Trans R Soc Lond B Biol Sci, 2009, 364(1531): 2957-2967.

[14] Jacobs GH, Neitz J, Deegan JF 2nd. Retinal receptors in rodents maximally sensitive to ultraviolet light [J]. Nature, 1991, 353(6345): 655-656.

[15] Rea MS, Figueiro MG, Bierman A, et al. Modeling the spectral sensitivity of the human circadian system [J]. Lighting Res Technol, 2012, 44(4): 386-396.

[16] Jacobs GH, Williams GA, Fenwick JA. Influence of cone pigment coexpression on spectral sensitivity and color vision in the mouse [J]. Vision Res, 2004, 44(14): 1615-1622.

[17] Felsenberg J, Plath JA, Lorang S, et al. Short- and long-term memories formed upon backward conditioning in honeybees (Apismellifera) [J]. Learn Mem, 2013, 21(1): 37-45.

[18] Meyer PJ, Cogan ES, Robinson TE. The form of a conditioned stimulus can influence the degree to which it acquires incentive motivational properties [J]. PLoS One, 2014, 9(6): e98163.

[19] 石哲. 基于奖励性操作条件反射的益智复方中药药效评价方法研究 [D]. 中国医学科学院 北京协和医学院, 2012.

[20] Parkinson JA, Robbins TW, Everitt BJ. Dissociable roles of the central and basolateral amygdala in appetitive emotional learning [J]. Eur J Neurosci, 2000, 12(1): 405-413.

[21] McClung CR. Plant circadian rhythms [J]. Plant Cell, 2006, 18(4): 792-803.

[22] Moore MC, Sulzman FM, Fuller CA. The clocks that time us: physiology of the circadian timing system [J]. J Gerontology, 1983, 38(2): 246-247.

[23] Tapp WN, Holloway FA. Phase shifting circadian rhythms produces retrograde amnesia [J]. Science, 1981, 211(4486): 1056-1058.

[24] Fekete M, van Ree JM, Niesink RJ, et al. Disrupting circadian rhythms in rats induces retrograde amnesia [J]. Physiol Behav, 1985, 34(6): 883-887.

[25] Devan BD, Goad EH, Petri HL, et al. Circadian phase-shifted rats show normal acquisition but impaired long-term retention of place information in the water task [J]. Neurobiol Learn Mem, 2001, 75(1): 51-62.

[26] Krishnan HC, Lyons LC. Synchrony and desynchrony in circadian clocks: impacts on learning and memory [J]. Learn Mem, 2015, 22(9): 426-437.

[27] Decker S, McConnaughey S, Page TL. Circadian regulation of insect olfactory learning [J]. Proc Natl Acad Sci U S A, 2007, 104(40): 15905-15910.

[28] Cain SW, Chou T, Ralph MR. Circadian modulation of performance on an aversion-based place learning task in hamsters [J]. Behav Brain Res, 2004, 150(1-2): 201-205.

[29] Manrique T, Molero A, Ballesteros MA, et al. Time of day-dependent latent inhibition of conditioned taste aversions in rats [J]. Neurobiol Learn Mem, 2004, 82(2): 77-80.

[30] Fernandez RI, Lyons LC, Levenson J, et al. Circadian modulation of long-term sensitization in Aplysia [J]. Proc Natl Acad Sci U S A, 2003, 100(24): 14415-14420.

[31] Lyons LC, Rawashdeh O, Katzoff A, et al. Circadian modulation of complex learning in diurnal and nocturnal Aplysia [J]. Proc Natl Acad Sci U S A, 2005, 102(35): 12589-12594.

[32] Lyons LC, Roman G. Circadian modulation of short-term memory in Drosophila [J]. Learn Mem, 2008, 16(1): 19-27.

[33] Lehmann M, Gustav D, Galizia CG. The early bee catches the flower—circadian rhythmicity influences learning performance in honey bees,Apismellifera[J]. Behav Ecol Sociobiol, 2011, 65(2): 205-215.

[34] Rawashdeh O, de Borsetti NH, Roman G, et al. Melatonin suppresses nighttime memory formation in zebrafish [J]. Science, 2007, 318(5853): 1144-1146.

[35] Chaudhury D, Colwell CS. Circadian modulation of learning and memory in fear-conditioned mice [J]. Behav Brain Res, 2002, 133(1): 95-108.

[36] Cain SW, Ko CH, Chalmers JA, et al. Time of day modulation of conditioned place preference in rats depends on the strain of rat used [J]. Neurobiol Learn Mem, 2004, 81(3): 217-220.