奖励与强化：对动物行为及神经系统的影响

陈嘉卉

◆摘 要：奖励与强化作为应激原，均可以帮助确定动物的特定行为，让动物习得某种动作。然而动物行为的改变是表象，奖励与强化实际上是通过影响动物神经系统来达到改变动物行为的目的。未来还需要更多的研究去探索奖励与强化对动物行为、神经系统的潜在作用，为动物行为学、动物训练乃至于药物成瘾的治疗提供更多帮助。

◆关键词：奖励；强化；动物行为；伏隔核

一、奖励对动物行为的影响

（一）食物奖赏对动物行为的影响

1.食物奖赏的概念

食物奖赏是指进食可口的食物后动物会获得一种满足感，这种食物能引发对动物的奖赏效应。即使不是饥饿状态，可口的食物会激活奖赏环路进而引发动物的摄食动机。因此，摄食的奖赏效应是促进动物持续摄食、提高摄食量的关键因素。

2.食物奖赏的作用

帮助动物习得某一特定行为。如：把大鼠放置于设置了有效和无效打扮的行为箱后，它踏有效板时给予蔗糖奖赏，踏无效板时无任何奖赏，一段时间后，大鼠会习得踏有效踏板的行为；将目标棒放在绿篮晰的面前，当绿篮晰嘴巴接触目标棒时，按响片同时给予食物以强化目标行为；训练红毛猩猩也采取相同的手段，若猩猩取得明显进步给予翻倍的食物奖励，这样可使得猩猩习得新的动作技能。

增强动物的觅药行为。李彦庆等人对大鼠进行随机分组，分为蔗糖组和对照组，它们分别习得了蔗糖和普通食物的自给食行为。随后让两组大鼠进行自给药，大鼠踏板给予可卡因注射，第8天开始蔗糖组大鼠比对照组的踏板数更多，摄药量更大。

3.影响食物奖赏对动物行为作用效果的因素

低氧暴露后，大鼠在食物奖赏区域停留更久。王娟发现：将大鼠放入低氧暴露下的Y型迷宫并使其自由活动，与暴露在正常含氧量的情况对比，大鼠更倾向于停留在食物奖赏区域。

（二）药物奖赏对动物行为的影响

1.药物奖赏的概念

药物奖赏是指动物长期反复服用成瘾药物后，其中枢神经系统会发生生理变化，渐渐地依赖该药物，称之为药物成瘾。可以通过药物奖赏使动物习得某种特定行为。

2.药物奖赏的作用

与食物奖赏作用相似，药物作为一种天然奖赏物，也可帮助确定动物的某些行为、学习某种行为。以下是药物奖赏有助于动物习得不同行为的证明。

（1）长期停留在伴随成瘾药物的区域。条件化位置偏爱（conditioned place preference，CPP）实验是指在特定的环境下对动物反复给药，会让它喜爱或厌恶这个给药环境，从而选择逗留或者逃离。

這一理论已被大量研究证明：如吗啡、氯胺酮、尼古丁这些药物都可以作为成瘾药物，让小鼠长期进入并停留在伴随该药物的区域中。

（2）行为敏化。行为敏化是指反复使用成瘾药物后，动物的自主活动、旋转运动或刻板行为等精神活动刺激反应增强的现象。

Castner等人发现重复给予苯丙胺可诱导非人灵长类动物（如猴子）出现跟踪、过度警觉、在空气中抓取寻找刺激物等幻觉行为。非人灵长类动物敏化后的表现较啮齿类动物更为丰富。

（3）自给药行为。自给药行为基于斯金纳的操作式条件反射，可通过药物奖赏训练动物完成某一行为，如啮齿类动物学会压杆或鼻触，灵长类动物较多习得踏板或拉杆。

Foll等人曾用松鼠猴为实验动物，建立自给药模型。松鼠猴坐在装有两个杠杆的房间里，杠杆上方分别有红光、蓝光刺激。每当松鼠猴拉动红光杠杆就会得到尼古丁注射，拉动蓝光杠杆则没有药物注射。一段时间后，松鼠猴学会了拉动红光杠杆自行给药。说明尼古丁这种成瘾药物可以使松鼠猴学会拉动特定灯光颜色的杠杆。

3.影响药物奖赏对动物行为作用效果的因素

（1）冷水应激的抑制作用。药物成瘾是一种脑损伤，而复吸是临床治疗药物成瘾遇到的最大难题，主要表现为觅药动机强烈和重复出现给药行为。实际上，药物成瘾是一种病理性情感记忆，有研究表明破坏药物奖赏记忆的再巩固能够抑制复吸。

陈静研究发现：冷水应激可以抑制大鼠对吗啡的条件位置偏爱，且给药时间会影响这一抑制作用的效果。

先让大鼠对吗啡产生CPP，然后唤醒药物记忆，再通过冷水应激的手段干预，结果吗啡对大鼠的奖赏效应被明显削弱。

另外，只有在吗啡奖赏记忆激活后立即给予应激才能破坏吗啡奖赏记忆再巩固，若在记忆激活后6小时再给予应激是没有抑制效果的，说明冷水应激干扰吗啡CPP具有时间特异性。

（2）运动应激的抑制作用。张鹿发现，运动应激可以抑制小鼠对氯胺酮而形成CPP。这里的运动应激指的是在小鼠用药后，进行增大运动量的跑台实验。

（3）药物剂量影响作用效果。低剂量药物因药物浓度低而无法引发行为敏化；中等剂量药物所产生的非条件反应必须与与环境所产生的条件反应结合才能引发行为敏化；高剂量药物能够单独引发行为敏化。

二、奖励对动物神经系统的影响

（一）奖赏环路的概念

1954年，詹姆斯·奥尔兹和皮特·米尔纳最先认识到脑内存在奖赏系统。他们设置了如下装置：按压按钮使大鼠接受大脑中的对特定部位短暂的电刺激。大鼠会慢慢习得按压按钮的行为，这种现象称为颅内自我刺激。研究者们将大脑内能够介导奖赏相关的行为的区域称为奖赏环路。

（二）奖赏环路的分类

正性奖赏环路和负性奖赏环路：前者增大奖赏效应；后者抑制奖赏效应。

1.正性奖赏环路

中脑边缘多巴胺（Dopamine，DA）系统是奖赏环路的中心。该系统主要起源于两个脑区：中脑腹侧被盖区（ventral tegmental area，VTA）和黑质致密部。VTA多巴胺能神经元主要投射到伏隔核（Nucleus Accumbens，NAcc）、内侧前额叶皮层和基底外侧杏仁核。此外，基底外侧杏仁核的谷氨酸能神经元可以通过NAcc间接投射到VTA。内侧前额叶皮层也能投射到VTA，这些脑区共同构成了正性奖赏环路。其中，VTA富含多巴胺能神经元，是调控奖赏功能的主要区域，这就是奖励对动物神经内分泌的作用的体现之一。

2.负性奖赏环路

外侧缰核（lateral habenula，LHb）是负性奖赏环路的主要区域。研究发现，向猴子进行厌恶刺激会强烈激活LHb神经元；用光遗传方法激活大鼠脚内核到LHb的输入会使得大鼠厌恶、逃避所探索的环境。这都说明LHb参与处理和编码厌恶信息。这提示我们可通过激活LHb来抑制奖赏效应，从而治疗药物成瘾、抑制动物刻板行为的目的。

LHb接收来自苍白球、下丘脑和前扣带回等脑区的输入，然后投射到VTA的多巴胺能神经元。这些通路共同构成了负性奖赏环路。

三、强化对动物行为的影响

由于强化与奖励有一定关系，可以通过奖励的手段使行为强化，这属于正强化，所以这里主要介绍负强化。强化与奖励类似，是对特定行为的加强，帮助动物习得某一特定行为，同时也有助于理解动物的刻板行为。

（1）规避电击。偏爱黑暗的老鼠可以随意选择进入灯光室或者暗室，当它进入一个偏爱的暗室后受到电击惩罚，24小时后，老鼠选择进入灯光室，“电击+灯光”的环境条件使得老鼠因规避电击而学会进入灯光室。这属于负强化对动物行为的影响。

相似的实验结果出现在果蝇身上：果蝇也会规避电击，通过这一厌恶型刺激使得果蝇习得某种行为。

（2）规避气体。一定浓度的CO2会引起果蝇强烈的回避行为。但饥饿会抑制果蝇对CO2的排斥。高浓度的CO2对果蝇是致死，但为了生存，果蝇会减弱对CO2的回避，去靠近释放CO2腐败的水果（果蝇的食物）。

在T型迷宫两臂分别通入OCT（某种果蝇厌恶的气味）和新鲜空气，果蝇会因为规避OCT而选择充满新鲜空气的区域。

（3）规避苦味。印楝素是一种苦味剂，具有拒食、忌避、抑制生长发育、诱导凋亡和自噬等多种作用机制。

动物形成味觉记忆后可利用它来回避有毒食物。昆虫口器伸展反应是分析昆虫味觉行为的一种经典的行为范式，能够快速地检测厌恶性味觉记忆的形成。

用蔗糖刺激果蝇足部，同时将奎宁、印楝素等不同溶液让果蝇伸出口器取食。一段时间后用蔗糖刺激果蝇足部，其口器不再伸展。这是因为之前蔗糖的足部刺激伴随着印楝素这种苦味物质的刺激，形成了厌恶性味觉记忆，果蝇为了规避苦味，就会学会拒绝甜味。

四、强化影响动物行为的神经机制

能产生愉悦感的奖励刺激（如食物、金钱等）与正强化相关；撤销厌恶刺激时产生的放松感，与负强化相关。

Kravitz和Kreitzer認为：接受腹侧被盖区多巴胺支配的神经元，在纹状体中组成两条平行的投射通路，其中直接通路从背侧纹状体的中型棘状神经元经过外苍白球投射到视丘下核，回返支配腹侧被盖区，选择性地表达低亲和性D1受体；间接通路从背侧纹状体的中型棘状神经元出发，投射到黑质网状和内苍白球的神经元，回返支配腹侧被盖区，选择性表达高亲和性D2受体。

其中，正强化对动物行为及神经内分泌的影响与奖励相似，而负强化的作用在上文也已阐述，它可以通过让动物规避某一惩罚，而习得与之相反的另一选择所关联的行为，简而言之，强化作为应激原，也是帮助动物确定某一行为。

综上所述，奖励与强化作为应激原，都可以帮助确定动物的特定行为，让动物习得某种动作。而动物行为的改变是表象，奖励与强化实际上是通过影响动物神经系统、内分泌系统来达到改变动物行为的目的。未来还需要更多的研究去探索奖励与强化对动物行为、神经内分泌的潜在作用。

参考文献

[1]李永祥，王嘉雯，江青艳，王丽娜.采食的奖赏性调节及其机制[J].中国畜牧杂志，2018，54（09）：10-15.

[2]李彦庆，乐秋旻，于向沉，马兰，王菲菲.蔗糖奖赏增强大鼠对可卡因的觅药动机[J].生理学报，2016，68（03）：233-240.

[3]唐华，左智力，毛杰，谢毅，陈建，刘选珍.绿鬣蜥行为训练研究[J].野生动物，2012，33（06）：342-344.

[4]李梅荣，窦海静，李俊娴.圈养猩猩的行为训练[J].野生动物学报，2014，35（01）：62-65.

[5]王娟.低氧暴露对大鼠摄食行为的影响[D].杭州师范大学，2013.

[6]戚仁莉，瞿家桂，陈艳梅，马原野，胡新天.青春期小鼠与成年小鼠在吗啡和食物诱导条件化位置偏爱建立上的异同[J].动物学研究，2011，32（05）：528-532.

[7]张鹿.运动应激对氯胺酮成瘾相关行为的影响[D].中北大学，2014.

[8]韩龙.尼古丁导致决策能力异常的神经机制探讨[D].中国科学技术大学，2018.

[9]覃旺军，梁建辉.用药环境对药物敏化效应的调控作用[J].中国药理学通报，2011，27（12）：1632-1635.

[10]Castner S A ，Goldman-Rakic P S.Amphetamine sensitization of hallucinatory-like behaviors is dependent on prefrontal cortex in nonhuman primates[J].Biological Psychiatry，2003，54（2）：105-110.

[11]Foll B L，Wertheim C，Goldberg S R.High Reinforcing Efficacy of Nicotine in Non-Human Primates[J].PLOS ONE，2007，2.

[12]Leshner AI.Addiction is a brain disease，and It Matters[J].Science，1997，278 （5335）：45-47.