郑 琪, 张 茜, 张 彧, 廖子君, 姚 煜, 南克俊(西安交通大学医学院附属陕西省肿瘤医院内一科,西安 7006;西安交通大学第一附属医院肿瘤内科)
CAC1对胃癌细胞系AGS细胞周期的调控作用
郑琪1, 张茜1, 张彧1, 廖子君1, 姚煜2, 南克俊2(1西安交通大学医学院附属陕西省肿瘤医院内一科,西安710061;2西安交通大学第一附属医院肿瘤内科)
摘要:目的研究新基因CAC1对胃癌细胞系AGS的细胞周期和细胞周期相关基因表达的调控作用。方法将AGS细胞分为空白对照组、阴性对照组和干扰组,分别给予细胞培养液、阴性对照siRNA和有效的CAC1-siRNA处理,用流式细胞仪检测细胞周期的变化,实时定量PCR和Western blot法检测细胞周期相关基因(p53、cyclin A、cyclin E及CDK2)在mRNA和蛋白水平的表达变化。结果CAC1沉默后,流式细胞仪检测发现,RNA干扰组的AGS细胞G1期细胞比例[(73.23±3.04)%]较对照组[(45.33±0.82)%]明显增加(P<0.05),S期细胞比例[(5.40±5.83)%]较对照组[(41.07±1.07)%]显著减少(P<0.05)。CAC1沉默后,与对照组相比,干扰组无论是cyclin E的mRNA表达水平(1.000±0.000 vs 0.294±0.011,P<0.05),还是cyclin A的mRNA表达水平(1.000±0.000 vs 0.886±0.039,P<0.05),均出现了明显的下降,p53 mRNA表达水平显著上升(1.000±0.000 vs 2.233±0.122,P<0.05),CDK2mRNA表达水平无明显变化(1.000±0.000 vs 0.952±0.007,P>0.05)。类似地,CAC1沉默后,与对照组相比,干扰组的cyclin E蛋白表达水平(0.667±0.236 vs 0.165±0.046,P<0.05)和cyclin A蛋白表达水平(0.607±0.284 vs 0.208±0.029,P<0.05)均出现了明显的下降,P53蛋白表达水平出现了显著的上升(0.326±0.054 vs 0.656±0.106,P<0.05);而CDK2蛋白表达水平无明显变化(0.864±0.175 vs 0.717±0.100,P>0.05)。结论CAC1可促进胃癌AGS细胞的G1/S期转换,下调p53的表达,上调cyclin E和cyclin A的表达。
关键词:胃癌;AGS细胞;CAC1;细胞周期
世界范围内每年大约有98.9万人新诊断为胃癌,73.8万人死于胃癌,胃癌的年发病人数在所有恶性肿瘤排第四位,年死亡人数排第二位,超过70%的胃癌发病和死亡患者都属于发展中国家[1]。晚期转移性的胃癌患者预后不良,中位生存期仅仅8-10个月,5年生存率不足7%[2]。胃癌具有相当高的发病率和死亡率,有必要深入地研究其病因和发病机制,以提高诊断和治疗水平。
CDK-associated cullin 1 (CAC1)是2009年在结直肠癌中鉴定发现的一个新基因,研究发现,CAC1可促进大肠癌细胞增殖,推动细胞周期从G1期向S期转换,它能够特异性地和CDK2结合并提高其活性[3]。而且,CAC1在阿尔茨海默病患者的脑组织呈现低表达,并抑制氧化应激损伤所致的细胞凋亡[4]。进一步的研究还发现,大肠癌中去氧胆酸通过下调miR-199a-5p来增加CAC1的表达,进而促进肿瘤的进展和耐药[5]。乳腺癌的研究中发现,CAC1可与HDAC协同下调RARα的活性[6],还可以作用于组蛋白脱甲基酶LSD1,从而下调ERα[7]。肺癌中的研究发现,CAC1通过激活肺癌A549细胞中的ERK1/2促进肿瘤细胞增殖[8]。
本课题组前期的研究已经发现,CAC1在胃癌细胞系中的表达水平高于胃黏膜细胞,它还能促进细胞增殖,调控凋亡相关基因的表达来抑制顺铂诱导的细胞凋亡[9],但它对胃癌细胞周期的影响和其机制仍需要深入研究。因此,本文通过RNA干扰法沉默胃癌AGS细胞系中CAC1的表达,观察细胞周期和细胞周期相关基因表达的变化,分析和探讨CAC1对胃癌细胞周期的调控作用。
1材料和方法
1.1细胞实验材料及主要试剂
高表达CAC1基因的人胃癌细胞系AGS[9]购自中科院上海细胞库,LipofectamineTM2000脂质体购自美国Invitrogen公司,碘化丙啶(PI)购自美国sigma公司,Rnase购自美国Sigma公司,CDK2鼠单克隆抗体、Cyclin A鼠单克隆抗体、Cyclin E鼠单克隆抗体、p53鼠单克隆抗体、β-actin鼠单克隆抗体购自美国Santa Cruz公司。10%新生小牛血清、RPMI 1640培养基购自美国Gibico公司,胰蛋白酶购自宝信生物,EDTA购自北京鼎国公司,DMSO购自美国Sigma公司,Trizol购自美国Invitogen公司,逆转录试剂盒购自日本TaKaRa公司,PrimeScriptTM1st Strand cDNA合成试剂盒购自美国Invitogen公司。
1.2脂质体转染CAC1-siRNA入AGS细胞
CAC1的siRNA干扰序列和阴性对照siRNA序列(negative control siRNA,NC-siRNA),由上海GenePharma公司化学合成,具体序列如下。siRNA sense:5′-GGA UGG UGC CAU AGA UCA ATT-3′,siRNA antisense:5′-UUG AUC UAU GGC ACC AUC CGG-3′,NC-siRNA sense:5′-UUC UCC GAA CGU GUC ACG UTT-3′,NC-siRNA antisense:5′-ACG UGA CAC GUU CGG AGA ATT-3′。实验组为siRNA组和NC-siRNA组,将两种RNA干扰序列与不含血清的细胞培养液混匀,设置平行孔和对照组,对照组为胃癌AGS细胞(cell)组和单加脂质体(lipo)组。转染前将脂质体与相应剂量的无血清培养液混合,室温下孵育5-30 min。将脂质体与siRNA的混合液加入培养板,开始进行转染,转染6 h后移去转染试剂,继续培养至48 h。取对数生长期的AGS细胞,加入60 nmol/L的CAC1-siRNA转染细胞。
1.3流式细胞仪检测细胞周期
转染完成后,加入100 μg/ml的 PI染液100 μl,最后进入流式细胞仪检测,细胞在488 nm处被氩激光激发,PI的红色荧光通过630 nm滤光片收集,结果用美国B-D FACSort Cell Quest软件做DNA分析。
1.4real-time PCR法检测相关基因mRNA表达量
实验分组依次为Control组、NC-siRNA组和siRNA组,siRNA转染浓度为前期研究中的有效抑制浓度60 nmol/L[9]。引物序列由TaKaRa公司设计合成,具体如下。CDK2 forward:5′-TTC TGC CAT TCT CAT CGG-3′;CDK2 reverse:5′-ATG GGT GTA AGT ACG AAC AGG-3′;Cyclin A forward:5′-TCC AAG AGG ACC AGG AGA ATA TCA-3′,Cyclin A reverse:5′-TCC TCA TGG TAG TCT GGT ACT TCA-3′;Cyclin E forward:5′-CCT GTA CTG AGC TGG GCA AAT AGA-3′,Cyclin E reverse:5′-ACG AAG GTC CTG ACA CGT CAC GTA-3′;p53 forward:5′-CCA CCA TCC ACT ACA ACT ACA T-3′;p53 reverse:5′- AGG ACA GGC ACA AAC ACG-3′;β-actin forward:5′-TGG CAC CCA GCA CAA TGA A-3′;β-actin reverse:5′-CTA AGT CAT AGT CCG CCT AGA AGC A-3′,提取总RNA,逆转录,实时定量PCR检测各基因mRNA表达水平。
1.5Western blot法检测相关基因mRNA表达量
提取细胞总蛋白,制备蛋白电泳样品,丙烯酰胺凝胶电泳,硝酸纤维素膜蛋白迁移,将膜放入一个可以封口的塑料杂交袋中,依次加入稀释的一抗和二抗。将膜放入玻璃皿中,加入已配好的化学发光底物,置于Syngene G Box凝胶成像仪的暗箱中拍照。结果应用美国Image J软件分析,计算每个条带的积分光密度(OD)值,进行半定量分析。采用各目的蛋白与内参蛋白条带的积分光密度比值(targeted protein/β-actin)来表示目的蛋白的相对表达水平。1.6统计学分析
2结果
2.1CAC1沉默对细胞周期的影响
流式细胞仪分析了对照组、NC-siRNA组和siRNA组AGS细胞周期(见图1)。与对照组[(45.33±0.82)%]相比,siRNA组G1期细胞比例[(73.23±3.04)%]明显增加(P<0.05),而S期细胞比例显著下降[(5.40±5.83)%vs(41.07±1.07)%,P<0.05)],G2期细胞比例较对照组轻度上升,但其变化无统计学意义[(21.37±2.88)%vs(13.61±0.46)%,P>0.05]。NC-siRNA组各期细胞比例与对照组相比,其差异均无统计学意义(P>0.05)。
图1 CAC1沉默后细胞周期的变化(与对照组比较,*P<0.05)Figure 1 Changes of cell cycle after CAC1 silencing(vs control group,*P<0.05)
2.2CAC1沉默对周期相关基因表达的影响
从实时定量PCR结果可以看出,CAC1沉默组(siRNA组)与对照组(control group)相比,无论是cyclin E mRNA水平,还是cyclin A mRNA水平,均出现了显著下降(P<0.05);p53 mRNA表达水平在CAC1沉默后则发生了显著的上升(P<0.05);CDK2的mRNA表达水平在CAC1沉默前后的差异无统计学意义(P>0.05)。同时,阴性对照组(negative control group, NC-siRNA group)的mRNA表达水平与对照组比较无明显变化(P>0.05,见图2,表1)。
Western blot检测结果显示,AGS细胞中各细胞周期相关基因在蛋白水平的变化趋势与mRNA水平变化趋势基本一致。与对照组相比,CAC1沉默后,cyclin E蛋白表达水平和cyclin A蛋白表达水平均出现了明显的下降(P<0.05);P53蛋白表达水平则出现了显著的上升(P<0.05);而CDK2蛋白表达水平在CAC1沉默前后的差异无统计学意义(P>0.05)。同时,阴性对照组(NC-siRNA group)的蛋白表达水平与对照组比较无明显变化(P>0.05,见图3,表2)。
图2 CAC1沉默后细胞周期相关基因mRNA表达(与对照组比较,*P<0.05)Figure 2 The mRNA expressions of cell cycle-related genes after CAC1 silencing(vs control group,*P<0.05)
表1CAC1沉默后凋亡相关基因mRNA表达水平的变化
Table 1Changes of apoptosis-associated genes expression at mRNA level after CAC1 silencing
组别 p53cyclinEcyclinACDK2CAC1沉默组2.233±0.1220.294±0.0110.886±0.0390.952±0.007对照组1.000±0.0001.000±0.0001.000±0.0001.000±0.000P0.0000.0000.0100.925
A.CAC1沉默后细胞周期相关蛋白印迹图 B.CAC1沉默后细胞周期相关蛋白定量分析图图3 CAC1沉默后细胞周期相关蛋白表达变化(与对照组比较,*P<0.05)Figure 3 Expression of cell cycle-related proteins after CAC1 silencing(vs control group,*P<0.05)
表2CAC1沉默后细胞周期相关基因蛋白表达水平的变化
Table 2Changes of cell cycle-associated genes expression at protein level after CAC1 silencing
组别P53CyclinECyclinACDK2CAC1沉默组0.656±0.1060.165±0.0460.208±0.0290.717±0.100对照组0.326±0.0540.667±0.2360.607±0.2840.864±0.175P0.0060.0320.0410.207
3讨论
CAC1是在结直肠癌中发现的一个新基因,它定位于人类第10号染色体的10q25-q26,翻译的蛋白由369个氨基酸组成,在其137-250位氨基酸之间包含有一个cullin样的功能域,故被归类为cullin家族成员[3]。结直肠癌中的研究显示,CAC1在肿瘤细胞和组织中的表达水平高于相应的正常细胞和组织;CAC1的表达与患者年龄、肿瘤部位及转移无关,与结直肠癌的病理类型及临床分期有关;CAC1可调控细胞周期,促进肿瘤细胞增殖[3]。但有关它在胃癌组织和细胞中的功能研究较少。本课题组前期的研究提示,CAC1在胃癌细胞系中的表达水平高于胃黏膜细胞,并能够抑制顺铂诱导的细胞凋亡[9]。
细胞的增殖依赖于高效有序的细胞周期,CAC1在胃癌AGS细胞系中表现出促进细胞增殖的作用,提示它可能直接或间接影响了细胞周期的进程。细胞周期是指每一次有丝分裂的结束到下一次有丝分裂的结束。完整的细胞周期包括DNA合成前期(G1期)、DNA合成期(S期)、DNA合成后期(G2期)和有丝分裂期(M期)。细胞周期启动的主要调控点在G1期,特别是在G1晚期存在一个限制点(restriction point),一旦通过该限制点,细胞就能依次完成剩下的G1、S、G2、M期,而不依赖于生长因子的持续刺激。如果细胞在G1期缺乏相应生长因子,则细胞周期将停止在限制点,细胞进入“安静”状态,称为G0期。S期细胞所占比例大小,可以表明开始新一轮DNA复制合成和分裂的细胞数量的多少。
通过流式细胞仪发现,CAC1沉默后,AGS细胞G1/G0期比例增加了约28%,而S期细胞比例下降了约36%,G2/M期细胞比例变化不明显,即细胞周期在G1期发生阻滞。这与此前在宫颈癌HeLa细胞中的研究结果一致[3],这说明CAC1在细胞周期的调控中发挥重要作用,能够促进AGS细胞通过G1期进入S期,进而推动细胞周期演进,促进细胞增殖。
细胞周期调控机制的核心是一组蛋白激酶在细胞周期内特定时相激活,通过对相应的底物磷酸化来驱动细胞完成细胞周期。这些蛋白激酶的细胞周期特异性激活,依赖于一类细胞周期特异性表达、累积和降解的蛋白质即细胞周期素(cyclins),故而前者被称为细胞周期依赖性蛋白激酶(CDK)。目前人类细胞主要的cyclins有8类共11种[10,11];主要的CDK有CDK1、CDK2、CDK4和CDK6。Cyclins与相应的CDKs结合后,二者形成的功能复合体才能使细胞周期有序进行。一般而言,CDK4、CDK6与cyclin D1、cyclin D2、cyclin D3的结合是G1期运行的必要条件;CDK2与cyclin E的结合是S期启动的必要条件;CDK2还可以与cyclin A的结合,是G2期启动和进行的必要条件;CDK1与cyclin B1的结合对M期启动和进行是必需的条件[12]。
研究中检测了与细胞周期调控关系密切的cyclin E、cyclin A和CDK2的变化。cyclin E的mRNA和蛋白表达水平在CAC1沉默后出现了明显的下降。同时,CDK2的mRNA和蛋白表达量均无明显变化。故CAC1可能对cyclin E的表达具有上调作用,而对CDK2的表达无明显影响。
实验中CAC1的沉默引起了cyclin E表达水平的明显下降,提示CAC1可能促进cyclin E的表达。另外,对HeLa细胞的研究中观察到,CAC1水平从G0期开始逐渐上升,至S期表达水平达到高峰,S中期开始下降,至S/G2期又再次升高,到达G0期后表达最低;其表达定位也随着细胞周期的变化而改变,G0、M期主要定位在细胞质,S期主要定位于细胞核;同时,cyclin E的表达从G1中期开始升高,至G1/S交界处达高峰,细胞进入S期后,cyclin E开始下降,到G2/M期降为零[3]。可见,CAC1的下调引起cyclin E的下调,且CAC1与cyclin E在G1/S期表达最高的峰值存在重叠,CAC1很可能直接或间接上调cyclin E的表达。
免疫共沉淀法已经证实,CAC1能够与CDK2结合并提高CDK2的活性,但不影响CDK2的表达量[3]。本研究也证实了CDK2无论在mRNA水平还是在蛋白水平,其表达不受CAC1表达变化的影响。CAC1一方面可以上调cyclin E的表达,另一方面还能增加CDK2的活性。由于cyclin E/CDK2复合体的形成对细胞跨过G1期进入S期是必需的限速步骤之一[13],所以,CAC1可能通过增加cyclin E/CDK2复合体的数量或活性来促进G1/S期转变。
CAC1沉默后cyclin A的mRNA和蛋白表达水平也出现了一定程度的下降,但其下降幅度远低于cyclin E。Cyclin A表达升高一般发生于G1/S期转变期,并持续整个S期;它与CDK2结合,使DNA持续合成;在S期后期,它与CDK1发生联系[13]。cyclin A与CDK2的结合是G2期启动和进行的必需条件,CAC1沉默所带来的二者表达或活性的下降可能使细胞阻滞于S期,但本研究中未发现S期细胞阻滞和G2期细胞比例的下降。可能是CAC1沉默对cyclin E/CDK2的负向调节作用大大超过了对cyclin A/CDK2的下调作用,故在AGS细胞中仅表现为cyclin A表达水平的下调,未出现S期阻滞。
有趣的是,CAC1对抑癌基因p53的表达起负调节作用。无论是mRNA还是蛋白质的表达量,P53在CAC1沉默后都出现了明显的增加。这些结果提示,AGS细胞在CAC1沉默后出现了G1期阻滞,不但与cyclin E的下调和CDK2活性的下降有关,而且可能与P53的表达上调有关。P53对于细胞基因组完整性的维持具有重要作用。文献指出,P53对细胞周期的影响主要体现在它增加其靶基因p21的转录,而P21蛋白是多种CDK抑制剂(CDK2,CDK4,CDK6)。当DNA发生损伤时,P53还可以通过抑制激酶的活性来阻碍Rb的磷酸化,结果使细胞停滞于G1期进行DNA修复;如果DNA损伤程度超过了细胞修复能力,P53可诱导细胞发生凋亡[13]。而且,野生型的P53还可以抑制cyclin A的表达[14]。
CAC1是如何引起cyclin E、cyclin A和p53等基因表达改变的,其具体的调控机制还需要进一步的深入研究。首先,文献报道,CDK2活性的抑制可导致ATM-和ATR-依赖的P53第15位serine上发生磷酸化,从而引起P53和P21蛋白表达的明显升高[15],CAC1的表达下调可引起CDK2活性下降,从而造成P53水平上升。其次,P53已经证实对cyclin A的表达具有抑制作用,故CAC1沉默引起的P53上调可能会导致cyclin A表达下降。最后,cyclin E是E2F的靶基因之一,它的启动子上游有E2F的结合位点[13];CAC1可能通过直接过间接的方式使Rb磷酸化,Rb磷酸化水平增高可引起E2F释放并作用于包括cyclin E在内的下游靶基因[13],进而增加cyclin E的转录和翻译。
综上所述,CAC1可通过调控细胞周期相关基因的表达,促进细胞从G1期向S期转变,从而加快分裂增殖。另外,CAC1沉默后,AGS细胞中cyclin E、cyclin A和P53的表达均在mRNA水平上发生了明显的变化,故CAC1对上述基因的调控可能是转录前调控。
参考文献:
[1]Jemal A,Bray F,Center MM,etal.Global cancer statistics[J].CA Cancer J Clin,2011,61(2):69-90.
[2]Power DG,Kelsen DP,Shah MA.Advanced gastric cancer-slow but steady progress[J].Cancer Treat Rev,2010,36(5):384-392.
[3]Kong Y,Nan K,Yin Y.Identification and characterization of CAC1 as a novel CDK2-associated cullin[J].Cell Cycle,2009,8(21):3544-3553.
[4]Kong Y,Bai PS,Sun H,etal.Expression of the newly identified gene CAC1 in the hippocampus of Alzheimer's disease patients[J].J Mol Neurosci,2012,47(2):207-218.
[5]Kong Y,Bai PS,Sun H,etal.The deoxycholic acid targets miRNA-dependent CAC1 gene expression in multidrug resistance of human colorectal cancer[J].Int J Biochem Cell Biol,2012,44(12):2321-2332.
[6]Moon M,Um SJ,Kim EJ.CAC1 negatively regulates RARα activity through cooperation with HDAC[J].Biochem Biophys Res Commun,2012,427:41-46.
[7]Kim J,Park UH,Moon M,etal.Negative regulation of ERα by a novel protein CAC1 through association with histone demethylase LSD1[J].FEBS Lett,2013,587(1):17-22.
[8]Chen TJ,Gao F,Yang T,etal.CDK-associated Cullin 1 promotes cell proliferation with activation of ERK1/2 in human lung cancer A549 cells.Biochem Biophys Res Commun[J].2013,437(1):108-113.
[9]Zheng Q,Zhao LY,Kong Y,etal.CDK-associated Cullin 1 can promote cell proliferation and inhibit cisplatin-induced apoptosis in the AGS gastric cancer cell line[J].World J Surg Oncol,2013,11:5.
[10]Miller ME,Cross FR.Cyclin specificity:how many wheels do you need on a unicycle?[J].J Cell Sci,2001,114(Pt 10):1811-1820.
[11]Sherr CJ,Roberts JM.Living with or without cyclins and cyclin-dependent kinases[J].Genes Dev,2004,18(22):2699-2711.
[12]Sherr CJ.The Pezcoller lecture:cancer cell cycles revisited[J].Cancer Res,2000,60(14):3689-3695.
[13]Israels ED,Israels LG.The cell cycle[J].Oncologist,2000,5(6):510-513.
[14]Yamamoto M,Yoshida M,Ono K,etal.Effect of tumor suppressors on cell cycle-regulatory genes:RB suppresses p34cdc2 expression and normal p53 suppresses cyclin A expression[J].Exp Cell Res,1994,210(1):94-101.
[15]Zhu Y,Alvarez C,Doll R,etal.Intra-S-phase checkpoint activation by direct CDK2 inhibition[J].Mol Cell Biol,2004,24(14):6268-6277.
Exploration on the role of CAC1 in the regulation of cell cycle of AGS gastric cancer cell line
ZHENG Qi1, ZHANG Qian1, ZHANG Yu1, LIAO Zijun1, YAO Yu2, NAN Kejun2
(1FirstDepartmentofMedicalOncology,AffiliatedShaanxiProvincialCancerHospital,CollegeofMedicine,Xi’anJiaotongUniversity,Xi’an710061,China;2DepartmentofMedicalOncology,FirstAffiliatedHospital,Xi’anJiaotongUniversity)
Abstract:ObjectiveTo investigate the role of novel gene CAC1 in regulating cell cycle and cell cycle-related genes expression of gastric cancer cell line AGS.MethodsAGS cells were divided into blank control group, negative control group and RNA interference group, which were treated with cell culture fluid, negative control siRNA and effective CAC1-siRNA, respectively. The cell cycle changes were analyzed by flow cytometry, and the expression of cell cycle-related genes(p53, cyclin A, cyclin E and CDK2) at mRNA and protein levels were detected by real-time PCR and Western blot, respectively. ResultsAfter CAC1 expression was effectively silenced by RNA interference in AGS cells, the cell proportion in G1 phase[(73.23±3.04)%] increased remarkably compared with control group[(45.33±0.82)%,P<0.05)], and the cell proportion in S phase decreased significantly[(5.40±5.83)% vs (41.07±1.07)%,P<0.05]. In addition, both cyclin E mRNA expression(0.294±0.011 vs 1.000±0.000,P<0.05) and cyclin A mRNA expression (0.886±0.039 vs 1.000±0.000,P<0.05) were significantly down-regulated after CAC1 silencing, p53 mRNA expression increased significantly (2.233±0.122 vs 1.000±0.000,P<0.05), and CDK2 mRNA expression had no significant change(0.952±0.007 vs 1.000±0.000,P>0.05). Likewise, both cyclin E protein expression(0.165±0.046 vs 0.667±0.236,P<0.05) and cyclin A protein expression(0.208±0.029 vs 0.607±0.284,P<0.05) were dramatically down-regulated after CAC1 silencing,P53 protein expression increased(0.656±0.106 vs 0.326±0.054,P<0.05), and CDK2 protein expression had no significant change(0.717±0.100 vs 0.864±0.175,P>0.05).ConclusionCAC1 can promote G1/S transition, down-regulate P53 expression and up-regulate cyclin E and cyclin A expression in AGS gastric cancer cell line.
Key words:gastric cancer;AGS cells;CAC1;cell cycle
[收稿日期:2015-08-28]
作者简介:郑琪,男, 1979-03生,博士,主治医师E-mail:snowpinezq@163.com.
中图分类号:R735.2
文献标志码:A
文章编号:1007-6611(2016)01-0035-06
DOI:10.13753/j.issn.1007-6611.2016.01.009