过程反馈如何影响参与者行为?
——来自在线设计众包竞赛的证据

2021-03-13 07:34焦媛媛吴业鹏
研究与发展管理 2021年1期
关键词:参与度参与者产品设计

焦媛媛,吴业鹏,许 晖

(1.南开大学 商学院,天津 300071;2.上海海事大学 经济管理学院,上海 201306)

数字经济背景下,为应对用户定制和个性化设计的挑战,越来越多的企业利用在线众包竞赛挖掘大众创造力以解决新产品开发(NPD)中的各种任务①这些企业或通过自建平台开展创新任务众包竞赛,如海尔、美的和戴尔,或通过第三方开放式创新平台进行众包竞赛,如Innocen⁃tive.com、OpenIdeo.com和猪八戒网等。,包括创意与产品设计(如美的创新平台)、问题解决方案(如海尔Hope)、平面设计(如99designs)等。众包竞赛中有两种重要角色——寻求者和参与者[1]。寻求者是指发布设计任务的一方;参与者是指针对该设计任务提交具体产品设计方案的一方。为了获得最佳质量的产品设计,寻求者可通过众包竞赛在一段时间内公开征集候选设计方案,参与者可选择参与设计竞赛并获取相关设计任务信息,在比赛期间轮流提交候选设计;寻求者在接收到参赛作品后会评估该设计的质量,对其进行反馈评分;参与者在收到反馈评分后可以选择继续提交新设计或放弃后续提交;竞赛结束后寻求者依据评分从参与者提交的设计中选出最优设计并支付奖金。相较于传统新产品开发方法,众包竞赛具有很多重要优势。它不仅能高效、灵活地获取多样而新颖的创意[2],也能通过强大的激励和竞争机制为产品创新提供众多高质量的设计[3],降低失败的风险和成本[4]。

为了取得众包竞赛的成功,必须设计有效的激励机制以促进参与者的积极性。除了奖励结构[2]、竞赛规模[5]和问题规范性[6]等因素外,过程反馈也是影响参与者积极性的关键因素[7]。过程反馈(in-process feedback)是指在众包竞赛过程中,寻求者可以与参与者进行互动,并对他们提供有关现有参赛作品提供实时绩效评分[8]。实践中,许多设计类的众包平台也纷纷开发一些功能,为参与者提供过程反馈。例如,99designs 和Crowdspring 允许寻求者使用五星评分系统对提交的产品设计进行评级。据估计,74%至89%的众包平台拥有正式的评估和反馈系统[9],且大多强烈建议和鼓励寻求者向参与者提供反馈②例如:一个众包解决方案的平台网站表示“您可以提供的反馈越多越好!”“确保每次提交都进行评价”等;另一个众包平台也表示,“星级评分显示寻求者喜欢或不喜欢设计”。。然而,在众包竞赛中,过程反馈的激励效果尚不清楚。首先,这些建议多是基于直觉的,过程反馈的效果可能更为复杂。一方面,过程反馈揭示了寻求者对参赛作品的主观偏好[8],有助于避免参与者在毫无希望的探索上浪费精力,从而影响参与者后续提交的设计质量(提交质量);另一方面,它也可能披露了众包竞赛中的竞争现状,暴露出不同能力参与者之间的绩效差距,使参与者由兴趣驱动转向绩效驱动,从而影响现有(或潜在)参与者在后续阶段提交的积极性和数量,即参与度[7]。其次,现有反馈研究主要关注传统小型、静态的线下竞赛情境,并认为反馈会鼓励参与者付出更多努力,但不对称的竞争形势会让后续比赛偏向于领先者而使落后者感到不安[9-10]。由于众包竞赛过程往往是动态、可重复提交的[2],设计质量的评价十分主观[8],参与者会根据当前的竞争形势调整自身行为,小型、静态竞赛中反馈的研究结论可能并不适用于大型动态众包竞赛。综上所述,本文探究在可重复提交的动态设计众包竞赛中过程反馈如何影响参与者的后续参与度和提交质量。具体而言,利用来自在线平台Crowdspring 在2015 年1 月—2019 年7月1 808个产品设计众包竞赛的62 188个设计样本的面板数据,分析了在“赢家通吃”③在线众包竞赛中的奖励机制一般分为两种:第一种是寻求者只向第一名的设计作品提交者授予奖励,即“赢家通吃”;第二种是向前3名的设计作品提交者授予奖励。的允许重复提交的产品设计类众包竞赛中过程反馈对参与者后续参与度和提交质量的双重影响,期望为中国企业管理者更好利用反馈促进用户参与众包竞赛提供理论指导。

本文可能的创新有以下3点。①现有绩效反馈研究多关注线下工作场所中小型、静态竞赛中反馈效果[9],即竞赛结束后才会给出绩效反馈,但在线众包竞赛是大型、动态可重复提交的,反馈在传统场景下的结论可能并不适用于大型的连续动态设计众包竞赛。本文以大型产品设计类众包竞赛为研究场景,拓展了创新竞赛理论的范围。②已有研究就反馈对参与者行为影响还未形成一致观点,而产生这一争议的关键在于反馈如何影响参与者行为的过程和维度尚不清楚。本文将参与行为分为参与度和提交质量两方面,并且分别分析众包竞赛中过程反馈对参与者后续参与度和提交质量的双重影响,调和了反馈对参与者行为影响存在不一致的理论矛盾。③尽管少数研究采用博弈论方法分析创新竞赛情境下反馈策略的影响,但其研究是纯理论的,忽视了过程反馈对不同绩效参与者行为的异质性,不同的参与者会动态调整后续参与决策,且过程反馈如何影响参与行为也缺乏实证检验。本文考虑了不同参与者的绩效差异,利用来自众包网站的面板数据,实证检验了其对不同绩效参与者后续参与度的倒U形影响,弥补了现有研究关于反馈仅仅会削弱低绩效者参与度的不足。

1 相关理论与文献综述

1.1 众包竞赛与创造力

创造力是指个体通过新颖而实用的方式或方法解决遇到的问题或挑战的过程[11],当创造力越高,参与者所提交设计的质量也就越高。有关创造力的研究始于社会心理学,这些学者大多聚焦于参与用户的个体特质对创造力的影响,包括参与者个性特征[12]、专业知识背景[6]、文化属性[13]、信息价值的敏感性[14]等。例如,HWANG等[15]发现,在线开放式创新环境中,社区边缘成员或具有不同领域专业知识的个人更有可能产生创造性思想。随着互联网技术的成熟,众包竞赛成为企业利用外部资源以激发创造力和用户创新的流行机制[1]。如TERWIESCH和XU[16]指出,在创新竞赛中竞争加剧与负面激励效应导致的单个参与者努力减少,可被更多参与者和“平行探索”的积极效应所抵消。众包竞赛是指为了解决创新问题,企业或个人(寻求者)面向大众公开举办锦标赛,并承诺对最优解决方案(如创意、设计或编程等)授予奖励;参与者发挥其自身的创造力和技能为寻求者提供备选的解决方案,当竞赛结束时,优胜的参与者被授予奖励。现有关于众包竞赛的研究已经探究了奖励结构设置[17]、最佳竞赛规模[6]、社区公平氛围[18]和创新问题特征[19]等情境因素如何促进众包创新的绩效。这些文献大多将众包竞赛视为静态的、单一提交的过程。然而,越来越多的竞赛脱离了这种模式——尤其是在数据和设计领域——这要归功于允许反复提交、在过程中提供反馈评分等设置。例如,在Crowdspring平台的设计众包竞赛中,寻求者以1星~5星的形式对参与者提交设计进行反馈评分,为参与者动态评估自身设计和当前所面临的竞争形势提供依据,在整个竞赛中新进入者和已参与者均可选择连续提交改进的新设计或放弃提交。因此,区别于传统的静态、单一提交的竞赛,本文旨在研究在连续的、动态可重复提交的众包竞赛场景中的参与者创造力。

1.2 信息反馈与参与者行为

学术界已经研究了不同但相关情境下的信息反馈对参与者行为的影响,这些理论研究多侧重于小型的线下竞赛场景,如员工薪酬与晋升[9]、工人生产力[20]、学生成绩排名[14]等,且并未形成一致的认识。大多数研究关注反馈的正面效果,认为寻求创新的管理者应该在组织内部公开竞赛过程中的排名信息,建立一个动态的竞赛环境,因为动态的反馈能够使得参与者更加关注竞赛的进程和自身的表现。EDER⁃ER[9]的研究表明,反馈可以激励高绩效者并产生更高的生产率。VIDAL 和NOSSOL[20]的研究也表明,当员工私下了解到自己每月薪资及其在同伴间的排序后,他们的生产效率提高了近7.2%。但也有部分学者对此持怀疑态度,认为反馈暴露了令人沮丧的绩效差距,寻求者不应该在竞争中间阶段向参与者提供反馈信息[10]。AOYAGI[21]认为,当有一个参与者大幅领先于其他参与者时,信息反馈可能会造成落后的参与者懈怠,而当竞赛中无反馈时,参与者难以了解到自身的精准排名,其激励不受影响。产生这一争议的关键在于信息反馈如何影响参与者行为的过程尚不清晰。WOOTEN和ULRICH[7]的研究表明,在众包竞赛中参与者行为主要分为参与度和提交质量两方面。参与度是指个体参与到众包竞赛中并提交设计方案的积极性,进而改变提交的设计数量(提交次数)[4];提交质量是指参与者在竞赛中所提交设计的综合质量[2],通过反馈评分反映,评分越高,表示该设计的质量越好。因此,本文将参与行为分为参与度和提交质量,分析过程反馈对参与者后续参与度和提交质量的影响。

1.3 众包竞赛中的不确定性与过程反馈

不确定性是指根据当前信息无法准确预测未来事件结果的程度[19]。在动态众包竞赛中参与者面临着任务不确定性、竞争不确定性与寻求者不确定性[8]。对于创造性的产品设计任务,其前期界定往往比较模糊,甚至连解决方法都不清楚,因而,创新性任务是不确定的[22]。竞争不确定性是指某一特定参与者赢得竞赛的机会难以预料[23],参赛设计最终能否胜出,不仅取决于参与者自身所付出的努力程度,还取决于竞争对手的技能水平,这对于“赢家通吃”的产品设计众包竞赛尤为明显。寻求者不确定性是指由于信息不对称,参与者难以确定寻求者是否会公平评估设计质量并履约支付奖金[10]。寻求者可能产生道德风险,例如,一位名叫彼得的设计师在Crowdspring官网④数据来源:http://www.crowdspring.com/reviews/。的评论区曾指出,“在一个奖励金额为2 640美元的设计竞赛中,寻求者在收集到4 316个参赛作品后撤销了比赛”。

过程反馈是指在众包竞赛过程中,寻求者会根据参与者所提交设计作品的质量提供反馈评分[8]。不确定性降低理论最初由BERGER 和CALABRESE[24]于1975 年提出以检验陌生人之间的互动效应,并被广泛应用于人际和组织沟通研究。不确定性降低理论认为,参与双方的不确定性程度会随着他们之间的互动和沟通的增加而降低。依据不确定性降低理论,在动态设计众包竞赛中,过程反馈可能会影响竞赛中的不确定性并最终影响参与者的提交行为。一方面,过程反馈传达了寻求者偏好[8],有利于降低不确定性,从而吸引潜在参与者进入并鼓励现有参与者投入更多的努力。另一方面,它也披露了众包竞赛的竞争现状[10],由于存在多种不确定性,披露绩效差距可能影响参与者的后续决策,例如,表现不佳者可能由于竞争加剧而削弱自身参与动力,甚至选择退出,也可能由于设计“质量”的评价十分主观而努力追赶。最近有少量研究探讨在线众包竞赛中最优的过程反馈机制,例如,MIHM和SCHLAPP[25]通过博弈论方法分析了动态创新竞赛中3种不同反馈方式(无反馈、公开反馈和私下反馈)对设计质量的影响,他们发现最佳反馈选择与竞赛特征之间具有重要关系,最佳反馈策略取决于竞赛的不确定性和寻求者对平均或最佳设计质量的兴趣。然而,这些研究主要采用博弈论方法通过数学建模进行分析,忽视了过程反馈对不同绩效参与者影响的异质性。过程反馈会揭示绩效差距,促使参与者学习并在后续阶段调整自身行为。过程反馈如何影响参与行为,还有待实证数据的检验。基于以上分析,本文旨在分析大型动态设计众包情境下过程反馈对不同绩效参与者的后续参与度和提交质量的双重影响。

2 研究假设

2.1 过程反馈对参与者后续提交的设计质量的影响

在参与者提交设计方案后,寻求者会对该设计的综合质量进行评分,当寻求者认为某一参与者提交的设计方案质量较高时,会倾向于给出较高的绩效评分;反之,绩效评分较低。设计质量反映出该设计作品与寻求者需求和偏好的契合程度,设计质量越高,表示其在竞赛中获胜的可能性越大。在动态众包竞赛中,过程反馈为寻求者和参与者之间沟通提供了渠道,以利于参与者降低所面临的任务和竞争不确定性,并据此调整其在后续阶段中的创造性努力程度。

首先,从任务不确定的视角,过程反馈揭示了寻求者的产品设计偏好,并降低了任务不确定性,这会影响参与者的后续提交决策。在有限理性约束下,参与者更多地依赖于参与经验和反馈进行后续阶段的参与决策[26]。一方面,反馈评分是衡量某一设计与寻求者偏好之间差距的标尺,在收到反馈评分后,参与者利用这些反馈信息更新其对寻求者偏好的理解,修改已有设计或探索新方案,并提交一个或多个质量更优的设计方案。另一方面,由于创新任务前期较模糊,参与者可以通过反馈进行频繁迭代,“边干边学”。因而,过程反馈能增加众包竞赛中的有用信息,减少双方的误解,引导参与者学习产品质量和功能设计的相关知识,进而提升参与者在竞赛剩余时间内后续提交设计的平均质量。MARINOVIC[27]也发现,在新产品开发中,相较于无反馈的情形,提供反馈有利于更高水平的信息收集以及群体沟通,从而提高新产品创新绩效。

其次,从竞争不确定的视角,在大型动态设计众包竞赛中,过程反馈会加剧竞争效应从而影响参与者后续阶段提交的设计质量[28]。在无过程反馈的情况下,因为所有参与者对设计质量都不太清楚,参与者往往只提交一次。相反,过程反馈使得参与者能看到竞争者的设计与评分分布,显示了高绩效者和低绩效者的差距[6],增加了参与者之间竞争的激烈程度,因为在“赢家通吃”的竞赛中,只有最优的设计才能赢得奖金。由感知控制理论可知,行为由感知到的差距所驱动和调节[22]。面对激烈的竞争形势,高绩效参与者会增强其对自己技能的信心并努力保持领先优势;由于“质量”评价标准具有主观性,中等绩效参与者可能选择投入更多的努力去改善设计;而低绩效参与者则会认为寻求者对自己的设计不感兴趣,更倾向于选择放弃,因为他们可以转向其他具有相对优势的竞赛。相较于无反馈,提供过程反馈有助于提升参与者群体的整体水平,第一次提交质量较低的参与者会选择提交新的更高质量的设计或改进已有设计。据此,本文提出如下假设。

H1 在设计众包竞赛中,过程反馈对参与者后续所提交的产品设计质量具有正向影响。

2.2 过程反馈对参与者后续参与度的影响

在设计类众包竞赛中,过程反馈会减少参与者决策时面临的不确定性——偏好、任务和寻求者行为不确定性,而根据不确定性降低理论,参与者的感知不确定性会随着互动和反馈的增加而降低[24]。①许多富有创造性的任务在比赛前期定义模糊,频繁的迭代是降低任务不确定性的最佳方法[8]。较低的任务不确定性可以降低参与者在错误方向上投入精力的感知风险,从而降低预期的提交成本。②由于不确定寻求者对设计的偏好,参与者面临着是否投入精力提交产品设计的抉择[16]。过程反馈可以向参与者传递寻求者偏好,促使参与者对已有参赛作品做出相应修改或提交新设计。③过程反馈还能削弱寻求者潜在的机会主义动机。在虚拟的动态众包社区与陌生人交易时,由于双方的进入和退出成本都很低,很难保证其不采取机会主义行为[17]。对具有风险意识的参与者而言,在无奖金保证的竞赛中,通过寻求者当前行为预测其未来行为是防止机会主义的有效方法[7]。DUCARROZ等[29]认为,交流和反馈提高了竞赛中的创意生成率,参与者提交后续设计的意愿随着寻求者投入的时间和精力的增加而增加。在设计众包竞赛中,提供过程反馈有助于降低竞赛不确定性,而不确定性反映了参与者行为所面临的风险,因此,过程反馈能降低参与者的感知风险,提高后续参与度。

除了降低不确定性,过程反馈也揭示了参与者当前状态与期望目标之间的差异[30],对于不同绩效参与者后续参与度的影响可能存在差异。参与者能否从竞赛中胜出,不仅取决于自身的努力,还取决于其竞争对手的能力[5]。在无反馈时,每个参与者并不清楚其他竞争者的能力或资质;而过程反馈则暴露出不同参与者能力的不对称性,从而影响参与者后续提交设计的动机。由于努力和能力是互补的[25],参与者对其自身能力的信心直接影响对投入努力所带来的边际收益的感知,因而,参与者会依据其对自身能力的信念来决定后续是否提交新的设计。根据自我决定理论[31],对于低绩效者,负面反馈可能会削弱参与者对自己拥有能力开发出成功设计的信心,因为他们会认为击败领先者并赢得奖励的可能性变得较低[4]。在动态连续的众包竞赛中,先前提供的反馈削弱了低绩效者后续参与的积极性,使其更倾向于选择放弃,降低了后续参与度。对于中等绩效者而言,正面反馈有利于巩固其对自我能力的认知;同时,竞争也在一定程度上增强了中等绩效者改善设计或提交新设计的意愿。因而,中等绩效的参与者后续阶段更愿意提交设计方案。与此同时,信心的增强反过来又促使其内化设计竞赛目标,保持后续提交设计的动力,从而提高了中等绩效者后续参与的积极性。然而,这种激励效果是一把双刃剑,过程反馈会造成领先者懈怠。FUCHS 等[32]发现,过于正面的反馈会增加创意者的乐观情绪,而忽视创新任务的难度和所需的努力程度。过于正面的反馈向领先者释放出一种信号,表明其在众包竞赛中胜出几乎是“板上钉钉”[22],比如获得5分的领先者对自己的设计更为满意、更倾向于维持现状,导致其后续提交设计方案的积极性降低。另外,当领先者先前提交设计的反馈评分较高时,为了改进已有设计或提出新的设计方案,其利用自身创造力以改善设计的难度也会增加。并且,因为众包竞赛是大规模的,激烈的竞争会使超额收益消失,所以,面临激烈竞争时,领先者继续努力的动力会被削弱。CAMACHO 等[4]也研究指出,收到负面反馈的参与者中平均有10.43%会更新他们已有的创意,而收到正面反馈的参与者中这一比例仅为2.3%。

综上所述,在产品设计类众包竞赛中,随着参与者绩效的增加,过程反馈对参与者后续参与度的影响呈现先上升后下降的倒U形关系。当提供过程反馈时,相对于领先者和低绩效者,中等绩效者具有更高的后续参与度。因此,提出如下假设。

H2 过程反馈绩效对参与者后续参与度的影响呈倒U形。

3 研究情境、数据与样本特征

3.1 设计类众包平台Crowdspring

Crowdspring.com成立于2008年,是一个世界领先的产品(如图形徽标、网页或生活用品)设计众包平台,汇聚了来自全球的创意人员,为中小企业或个人提供设计方案,类似于国内的创趣网。目前该平台上44%的设计师来自欧美,30%来自中国。自创办以来,已为全球5 万多家企业提供了设计服务,包括浪莎、阿里旗下的速卖通等中国企业。该平台每周举办数百场众包竞赛,任何企业或个人(寻求者)如果有设计需求,都可以在该平台发起项目竞赛;设计师(参与者)自愿参与各个项目的竞标,并根据设计任务描述创造出备选设计方案并进行提交;寻求者从提交的设计中挑选出最优的方案并支付奖金。

众包竞赛中过程反馈的流程具体如图1所示。竞赛开始前,寻求者发布产品设计简报(描述产品参数、制造材料、尺寸等设计要求相关的信息)、奖励金额,设定竞赛的持续时间(通常为14天)。竞赛开放时,平台上的参与者可以随时提交任意数量的设计作品,寻求者针对参与者提交的设计以1星~5 星评分或文字评论的形式提供实时的过程反馈。参与者能看到自己提交的设计作品的反馈评分,同时,也可以看到竞争者的产品设计以及评分等级分布,但不能看到其他竞争者的某一特定设计的评分,这样可以防止参与者复制优秀的设计。竞赛结束时,寻求者从中挑选出其认为最优的设计作品,并得到其使用权。在竞赛终止时,参赛获胜者获得奖励金额。

图1 众包竞赛中过程反馈的流程Fig.1 Flow of in-process feedback in crowdsourcing tournament

3.2 数据来源

在获得该平台授权后,利用网络爬虫脚本技术,以MySQL 作为数据库收集了2015 年1 月—2019 年7月的1 808场产品设计竞赛中参与者提交行为的历史数据(包括竞赛信息和相关参与者信息等)。对于每个竞赛,记录了所有参赛者和寻求者的具体活动(包括参与者提交的设计方案和寻求者的反馈评分),并带有时间戳。本文专注于产品设计众包竞赛,其原因有二:①样本数据的可得性;②设计类众包竞赛是该网站上最主要且具代表性的类型之一。由于大部分(约93.3%)产品设计众包竞赛的持续时间为14天,因而专注于时间期限为14天、寻求者承诺只奖励一个最终获胜者(“赢家通吃”)的竞赛。特别地,在众包竞赛过程中,参与者只能观察现有反馈评分的整体分布,根据当前的反馈评分分布决定后续阶段是否提交新设计或投入努力程度。最终,得到62 188个产品设计类竞赛样本。

对于样本中的每次竞赛,参与者可以观察设计简报、开始和结束日期、奖励金额以及奖金是否已提交。从样本数据中可以观察每位参赛设计师的身份,其在平台上的历史记录、提交设计的时间和顺序、获得的评分、给出评分的时间以及是否获胜。参与者的身份标识为追踪参与者在每次竞赛过程中的活动提供依据。本文使用精确的时间信息来定位每个产品设计提交时的竞赛状态;基于提交时已有的反馈以及最终提供的反馈,计算出在该设计竞赛中每个产品设计(存在反馈评分)提交之前的设计数量。

3.3 样本特征

本研究的变量可以分为竞赛、参与者和竞赛—参与者3个层面,主要指标的描述性统计如表1所示。在样本指标中,平均每次竞赛奖励金额为282.033美元,每个设计众包竞赛平均吸引了34.396名参与者。平均而言,每次众包竞赛中参与者们会提交101.739个设计作品,这表明,相较于传统的线下小型竞赛,众包竞赛具有规模大的特点。一般情况下,如果没有设计符合寻求者的意愿,寻求者可以选择就该场设计竞赛不提供奖励金,但寻求者也可以放弃该权利,并在竞赛开始时就承诺保证提供奖励。尽管只有23.4%的竞赛提供奖励保证,但最终有89.4%的竞赛被授予奖金。

表1 样本特征描述Tab.1 Description of sample characteristics

由表1可知,参赛者每场竞赛的设计提交中位数是2,并获得1次评分反馈。有9 459位参与者参加竞赛,平均而言,每场竞赛中平均每位参与者提交了2.958个设计,由于这些分布很不均衡,许多参与者只参加了1~2场竞赛,少数人则较长时间持续参加众包设计竞赛。只有16.1%(约1 522人)的参与者在竞赛中获胜,这意味着存在同时赢得多场竞赛的参与者。表1还显示了反馈评分的分布情况。在设计众包竞赛中,寻求者使用5星量表来反映设计质量的高低:5星表示最好,1星表示最差。52.46%的设计获得了反馈评分。数据显示,在存在反馈评分的情况下,每场比赛平均只有2.986个(5.14%)的产品设计获得了最高的五星评分,这表明寻求者将5星好评保留给其最喜爱的产品设计作品。在所有获得反馈评分的设计中,获得3星的比例最高,为20.274个(34.89%),紧随其后的为获得2星的设计13.582个(23.37%)和4星评分的设计为12.850个(22.11%)。

本文的因变量包括设计质量改善和参与度,以参与者相邻两次反馈评分差表示该参与者后续设计质量改善,以获得反馈评分后参与者提交决策表示参与度。为了控制除了过程反馈以外的其他不确定因素(如经济奖励等),本文还引入如下变量控制模型的异质性问题:奖励金额(大小)、竞赛时长、奖励授予(是否)。奖金承诺表示承诺授予奖励的竞赛占总竞赛数的比例。引入奖励金额是为了控制影响参与者努力提交的经济激励因素,由于本文所收集的竞赛其组织者均奖励一个候选方案,不再引入奖励个数作为控制变量。当竞赛剩余的时间较长时,参与者提交高质量设计方案的可能性也相对较大,因此,引入竞赛剩余时长以控制时间对因变量的时间效应。最后,奖金授予表示竞赛结束后授予奖励的竞赛占总竞赛数的比例;引入是否提供奖励保证以控制不同的竞赛特征中的参与者积极性差异。

4 实证分析

本文将参与者行为细分为提交的设计质量和参与度两个维度,以检验在竞赛剩余时间内过程反馈对参与者后续提交行为的影响。第一,为了检验过程反馈对后续提交的设计质量的影响,一方面,通过直观比较在是否提供过程反馈的情况下第二次设计与第一次设计的评分分布来分析过程反馈对后续提交质量的影响;另一方面,通过回归分析进一步探究过程反馈对后续提交质量的影响。第二,为了分析过程反馈对后续参与度的影响,通过描述性统计比较在获得第一次评分后不同绩效参与者后续所提交的设计数量之间存在的差异,并通过Logit回归方程评估过程反馈对后续参与度的影响。

4.1 过程反馈对后续设计质量的影响

由表1可以看出,在每场竞赛中,每位参与者设计作品提交的中位数是2个设计且平均只获得1次反馈评分,因此,检验了参与者首次提交的设计获得反馈与否对其第二次提交设计评分等级的影响,如图2所示,包括第一次设计时获得的评分以及在提交第二次设计之前是否获得过程反馈。

图2 过程反馈对第二次设计提交的影响Fig.2 The impact of in-process feedback on the second design submissions

由图2可知,当预先观察到反馈时,总体上设计作品的评分分布呈现增加趋势。在所有分图中,当参与者能提前获得反馈评分时,他们在第二次设计提交中获得更高评分的比例增加。在拥有1星级设计的参与者中,他们在预先观察上一次提交的反馈时得分更高,其中,76.5%的参与者在第二次提交时得到更高的评分,而那些没有获得反馈的参与者则为50.41%。对于拥有2 星设计的参与者,分别为58.01%和39.24%;对于拥有3 星设计的参与者,分别为34.41%和23.5%;对于拥有4 星级设计的参与者,分别为12.69%和6.55%;所有差异都在1%的统计水平上显著。

本研究以第二次提交的设计质量改善为因变量,以第一次反馈评分为自变量,OLS回归分析的结果如表2所示。表2呈现了相较于第一次提交设计,参与者获得反馈评分后第二次提交设计的质量改善概率。由结果可知,参与者在获得首次提交设计的反馈得分时会显著提高后续阶段(第二次)提交的设计质量(评分)。第一次提交的设计作品获得1 星、2 星、3 星和4 星的回归系数分别为0.262、0.162、0.093 和0.050,且各个系数均在1%的统计水平上显著。该研究结果表明,相较于第一次提交,获得过程反馈后参与者第二次提交的设计质量得到明显的提升,支持了H1,这表明,过程反馈能够促进参与者在后续阶段提交质量更高的设计。

表2 反馈的效果:第二次提交质量改善的回归结果Tab.2 Effect of feedback:regression result of improvement in the quality between the first and second submissions

4.2 过程反馈对后续参与度的影响

为了分析过程反馈对参与者后续参与度的影响,本文考察参与者收到的第一次提交设计的反馈评分对后续阶段参与度的影响。鉴于第一次反馈评分通常是反映寻求者偏好的首个指标,并且由表1可知,在每场竞赛中,每位参与者产品设计作品提交的中位数是2个设计,且只获得1次反馈评分,因此,本文分析参与者获得第一个反馈评分对后续提交设计数量的影响。

图3显示了参与者在获得第一次评分后所提交的设计作品数量的分布。横轴表示设计作品提交的数量,其中,左边为第一次反馈评分是1星的情况,右边为第一次反馈评分是4星或5星(5星数量较少)的情况;纵轴表示不同的设计提交数量的总体比例分布。在获得第一次反馈评分后,参与者后续提交的设计数甚至超过10个,表明设计类众包竞赛的竞争程度。大多数第一次反馈评分为1 星的参与者(72.26%)会在竞赛剩余的时间内选择放弃后续提交。相比之下,获得高评分的大多数参与者(59.35%)随后将提交至少一个设计。为了进一步验证该结果,估计每位参与者的第一次反馈评分和观察到的竞争者评分对参与者随后放弃竞赛可能性的影响。

假设在众包竞赛k中参与者j的设计作品i的评分为Rijk。评分为参与者提供了两个未知的信息:给定的设计作品赢得竞赛的概率取决于竞赛的竞争程度(竞争不确定性);不知道下一个设计作品的评分可能会是多少,以及是否应该继续提交新的设计方案。为了更直观地表示下一次提交的设计作品评分,本文构建如下计量模型。①Rijk=5,表示这个设计很出色,在竞赛中获胜的概率很大。参与者抓住了寻求者喜欢的主题,该参与者提交的设计很可能会得到很高的评价。②Rijk=1,这个设计不太好,不太可能会胜出。③Rijk=2/3/4,表示设计质量的评分依次为2星、3星和4星。④Rijk=Ø,表示参与者没有收到关于其设计作品的反馈。

图3 参与者第一次评分后提交的设计作品数量分布Fig.3 Distribution numbers of design submissions after participants’first rating

假设竞赛k有jk>0风险中立的参与者,他们每人都会提交Ijk>0个设计作品。寻求者将奖项授予其最偏好的设计作品。βji表示设计质量,通过寻求者的过程反馈反映;vij表示参与者j提交的设计i的潜在价值,并假设该值是设计评分的函数且服从正态分布,则有

设计作品的反馈评分存在6种不同可能,每个设计作品的价值vijk可以用每种反馈评分等级Rijk的固定效应和一个误差项的和表示。

其中:νijk表示在竞赛k中设计作品ijk的潜在价值,该价值只能通过寻求者评分观察到;误差项εijk表示寻求者偏好中不可观测的波动,这反映了众包竞赛中存在的不确定性,同时也恰当解释了为什么五星设计作品并非总能胜出。

尽管寻求者可供选择的设计数量和内容因竞赛的不同而有所差异,但本文假定设计作品的反馈评分能完全描述设计作品质量可预测的部分;理论上,在给定的竞赛中,任何评分等级的新设计作品的增加都会相应减少其他竞争设计获胜的机会。对于未承诺奖励保证的竞赛,选择集包含不授予奖励的选项,并进行归一化处理。在此模型下,参与者j的获胜概率为

其中:Pjk为参与者j在竞赛k中获胜的概率;为在竞赛k中提交的设计作品总数,Φ(uncommitted prize)是未承诺奖励保证的竞赛中的设计作品数量。按照MCFADDEN[33]的估计方法,利用样本中每个设计作品的评分和胜负结果,可以通过条件Logit模型对该方程的参数进行估计。

接下来,估计每个参与者第一次设计提交后的反馈评分对其后续退出竞赛可能性的影响。由于过程反馈暴露了不同参与者能力的不对称性,为聚焦于能力不对称如何影响后续参与行为,本文以参与者在获得反馈后选择是否放弃后续提交为因变量,以参与者获得第一次反馈评分后获胜概率及其平方项为自变量,分别代入线性回归方程,如方程(4)所示。

其中:Giving_upjk表示在竞赛k中参与者j在获得第一次反馈评分后续提交决策,放弃后续提交,取值为0,反之为1;Timingjk表示在第一次评分时竞赛已经持续的时间;Controlsjk表示其他控制变量,包括是否提供奖励保证、奖励金额大小和竞赛开始时间;ρķ和ψj分别是竞赛和参与者的固定效应。

表3呈现了参与者在获得第一次评分后获胜概率对该参与者放弃后续参与设计概率的影响。观测值是竞赛—参与者层面。所有列(模型1~模型4)中的因变量都是参与者在获得第一次评分后选择是否放弃的指标。模型1~模型3分别表示竞赛、参与者、竞赛和参与者的固定效应的线性概率模型,其中具有双重固定效应的线性方程(模型3)较为合适。采用线性模型来控制固定效应在实践中可能无法得到一致的结果,因此,利用Logit模型进行估计。模型4是仅包含竞赛固定效应的Logit模型。

表3显示,所有系数的显著性水平均控制在1%以上,获胜概率的平方项均为正,而一次项系数均为负,这表明参与者后续参与度与其第一次获得的反馈评分呈先下降后上升的趋势。以模型3为例,平方项系数是1.469,一次项系数是-1.607,对称轴在0.55。该结果说明,过程反馈对中等绩效者后续提交设计作品产生了有利的影响,中等绩效者(评分为3)更有可能在竞赛剩余时间内继续参与后续竞争;低绩效者在获得低的评分之后选择退出的可能性增加,因为当参与者感到胜出希望渺茫时,会倾向于放弃或转向其他竞赛;与此同时,通过揭示众包竞赛中的竞争差距,过程反馈也可能会对评分领先的高绩效参与者产生负面影响,支持了H2。

表3 第一次评分后参与者放弃后续提交的倾向Tab.3 Participant’s tendency to give up subsequent submissions after first rating

为了直观表示参与者后续是否放弃的可能性与第一次设计评分等级的关系,本文绘制了图4,其中横轴表示第一次反馈评分后参与者获胜的概率,纵轴表示参与者在该竞赛中放弃后续提交的概率。由图4可知,参与者放弃后续提交的倾向与参与者第一次评分获胜概率的函数整体呈现U形,即参与者的后续参与度与过程反馈绩效之间呈现倒U形关系。在获胜概率为0.5附近放弃后续提交设计的倾向达到最小值,在获胜概率0和1的两个外边界处达到最大值,并且获胜概率最左边的放弃概率高于最右边。当参与者处于中等程度的竞争地位时,即获胜概率在0.5左右时,对参与者后续提交的激励最大。在设计众包竞赛中,过程反馈能改善未来后续提交的设计质量,推动表现不佳者退出竞赛,这种激励减少了希望渺茫的参与者浪费努力,并重点激励余下参与者的创造力。然而,值得注意的是,过程反馈也导致绩效领先者在后续参与的积极性降低。在后续参与度方面,过程反馈会导致众包竞赛中出现“龟兔赛跑”困境,即领先者会产生懈怠,而低绩效者倾向于在后续竞赛中选择放弃。产生这一现象的原因在于,过程反馈揭示了参与者之间的绩效差距,在这种情况下,落后者可能认为,面对激烈的竞争,为了赢得比赛需要花费巨大的成本,往往选择退出;但是,由于绩效差距过于悬殊,领先者可能会认为已经提前锁定胜局而放大自己的胜出感知,放弃“以量取胜”的竞争策略。

图4 第一次评分后参与者放弃后续提交的倾向Fig.4 Participant’s tendency to give up subsequent submissions after first rating

5 稳健性检验

5.1 过程反馈对参与者后续提交的设计质量的影响

虽然上文利用了第一次反馈评分来识别过程反馈的效果,但在竞赛后续提交过程中也存在类似现象。其次,如果那些最有可能取得更大提升的参与者在提交第二个设计作品之前可能正等待着第一次提交作品的反馈,这种因素也可能会带来整体提交设计质量的提升。本文通过稳健性检验以排除该因素的干扰,因为在反馈的过程中参与者的后续选择可能因过程反馈而发生改变,验证了特定参与者在特定的竞赛中连续提交的一对相邻设计作品质量的评分差异。表4呈现了相较于先前设计,过程反馈对参与者后续设计质量改善的影响。该影响是通过比较特定参与者在某一类特定竞赛中的相邻反馈评分予以确定,在两个相似的设计众包竞赛中,当仅其中一个竞赛提供了反馈评分,该参与者在两个竞赛的后续阶段提交的设计质量发生了变化。

表4 任意提交的相邻产品设计之间质量改善的回归结果Tab.4 Regression result of quality improvement between consecutive product design submissions

由表4可知,与第一次反馈评分的回归结果一致,过程反馈增加了后续设计质量改善的可能性。更进一步,当后续反馈评分高于或等于先前设计的评分时(先前设计评分较低),过程反馈与质量改善呈显著的正相关关系,反之,当先前设计评分较高时,这种关系不显著(如在第3列中,β1=0.009,系数不显著,而该列的其他系数均显著;第4列中,β5=0.234,在1%的统计水平上显著,而其他系数均不显著)。在设计众包竞赛中,先前提交的设计作品评分越高,影响程度的预期就会越低,该结果反映出初始设计提交的反馈评分越高,后续提交的设计质量提高的难度将会越大。因此,本结果排除了反馈以外的因素带来的干扰。该结果表明过程反馈对后续参与度的影响结果是稳健的。

5.2 过程反馈对参与者后续参与度的影响

为了进一步证实过程反馈对后续参与度的激励作用,本文估计每个参与者的第一次反馈评分和其他参与者的竞争对该参与者放弃后续设计提交倾向的影响。具体回归分析如方程(5)所示。

其中:Giving_upjk表示在竞赛k中参与者j在第一次反馈评分后是否放弃了后续提交,放弃后续提交,取值为0,反之为1;Rjk是参与者第一个设计作品的反馈评分;是在同一竞赛中当时所有参与竞争的设计方案的最高评分;Timingjk表示在第一次评分时竞赛已经持续的时间;First_ratingjk表示获得第一次评分的时间;ζķ和φj分别表示竞赛和参与者的固定效应。

表5呈现了在竞赛中参与者获得第一次评分以及当时其他竞争者评分对参与者随后退出概率的影响。所有观测值是竞赛—参与者层面。所有列(模型1~模型4)的因变量都是参与者在获得第一次评分后选择是否放弃的指标。模型1~模型3是估计具有固定效应的线性模型结果;模型4表示Logit模型的估计结果。

由表5可以看出,在所有模型中,第一次反馈评分后参与者退出的概率与参与者第一次评分的回归系数均为负数,且均在1%的统计水平上显著。这说明过程反馈与参与者后续提交的努力程度呈正相关。此外,参与者第一次反馈后退出概率系数的绝对值随着参与者第一次评分的增加而增加(如在模型3 中,β2=-0.109,β3=-0.271,β4=-0.448,β5=-0.467),这说明参与者继续投入努力进行后续提交的概率随着参与者第一次反馈评分的等级而单调递增,拥有更多积极反馈的参与者比那些最初反馈差的参与者更有可能保持活跃。在模型1和模型4中,参与者评分为4时的系数都最大(模型1:β3=-0.414,模型4:β3=-2.192),这说明先前评分更高的产品设计也会让参与者更倾向降低努力程度从而放弃后续提交设计作品。回归结果与表3的结果一致,过程反馈可以提高中等绩效者的后续参与度,但也会抑制领先者和低绩效者的后续参与度,表明研究结果具有较好的稳健性。

表5 获得首次反馈评分的参与者后续提交设计的倾向Tab.5 Tendency of participants who received first feedback rating to submit subsequent designs

6 研究结论与讨论

6.1 研究结论

基于来自知名在线众包平台Crowdspring 上新产品设计类众包竞赛的大样本面板数据,分析了过程反馈对参与者后续参与度和提交质量的双重影响。结果表明:过程反馈显著提高了产品设计众包竞赛中参与者后续提交质量;过程反馈对不同绩效参与者后续参与度的影响具有差异性,通过揭示参与者绩效差异而导致竞争的不对称性,可以促进中等绩效者的后续参与度,但削弱了领先者和低绩效者的后续参与度,寻求者必须在参与者后续参与度和提交质量之间进行权衡。

6.2 理论贡献

第一,本文聚焦于大型动态设计众包竞赛中的过程反馈研究,为反馈研究提供了新的情境。反馈对生产力或创新绩效的影响是竞赛领域的关键议题之一。传统绩效反馈文献大多关注线下工作场景的小型、静态竞赛中反馈机制,包括员工晋升、工人生产效率等[9,34]。然而,在线众包竞赛是大型连续动态开放创新竞赛[2],且设计“质量”的评估标准十分主观,有关反馈在传统工作场景的影响的结论可能并不适用于在线大型动态众包竞赛。本研究以在线设计众包竞赛为研究对象,分析了大型、连续动态竞赛中过程反馈的激励效果,将反馈研究从传统线下竞赛拓展到众包竞赛情境,扩展了竞赛研究的边界。

第二,本文将参与者行为分为提交质量和参与度两个维度,调和了已有研究关于反馈对参与行为的影响结论不一致的矛盾。虽然传统竞赛反馈研究大多认为,在竞赛中向参与者提供反馈是一种有益无害的主张,如为新进入者提供学习和锻炼机会[35]、降低了寻求者的不确定性[2]、培养参与者的社区归属感[36]等,但也有学者持怀疑态度,认为反馈也会揭示竞争现状,抑制参与者的积极性。本文发现产生这一争论的原因在于现有研究忽视了参与者行为的不同维度。本文将参与者提交行为细分为参与度和提交质量两个维度,检验了过程反馈对参与者后续参与度和提交质量的双重影响,调和了这一理论矛盾。进一步发现,在众包竞赛中,过程反馈有助于降低参与者面临的多种不确定性,从而激励其在后续竞赛中提交更高质量的设计作品;与此同时,过程反馈也会揭示竞争的不对称性,对参与者的后续参与度产生了一定的不利影响,这加深了反馈对参与者行为影响路径的既有认识。

第三,本文发现众包竞赛中过程反馈对不同绩效的参与者后续参与度的影响呈现出差异性,揭示了反馈对参与者创新的作用。现有研究(如BOUDREAU等[37]、TERWIESCH和XU[16])认为,反馈会加剧“落后者”与“领先者”之间的竞争差距,从而只会导致“落后者”倾向于放弃。但是,由于这些研究多从纯理论视角出发,采用博弈论等方法分析创新竞赛中提供反馈的效果[27],忽视了反馈也会揭示出绩效差距,可能引起高绩效者过早产生懈怠而降低后续参与积极性。本文发现,在存在过程反馈的情况下,相较于中等绩效者,领先者和低绩效者的后续参与度都较低。这一发现揭示了过程反馈所具有的“选择效应”会导致众包竞赛中出现“龟兔赛跑”困境:过程反馈不仅可能降低落后者的参与积极性,甚至选择放弃,同时也会使领先者产生懈怠情绪。已有研究认为反馈对后续参与度仅存在线性影响,该结果证实了反馈对后续参与度存在非线性影响,深化了对反馈效果的认识。

6.3 管理启示

一方面,对于国内第三方创新平台运营商(如猪八戒网、威客中国等)而言,在运营和管理经验上与国际平台尚有差距,本文为他们在众包竞赛中向寻求者提供反馈服务给出了理论支撑。除了通过提高奖励金额或改变奖励结构等方式激励用户参与,管理者需要意识到公开众包竞赛中可观察的过程反馈会影响参与者提交产品设计的参与度和提交质量,而传统的“不及时反馈”可能不利于激励参与者付出更多的创造性努力。因此,在产品设计众包竞赛中,构建寻求者和参与者频繁而顺畅的沟通机制,有助于激励参与者带来更高质量的后续产品设计。

另一方面,为两类寻求全球设计方案的中国企业管理者如何利用过程反馈提高参与度提供参考,控制极端的反馈评分有助于避免过早确定最终的竞赛结果,从而激发参与者的后续探索热情。一类企业为面临资源和资金约束寻求国际设计师的国内中小企业;另一类为拓展海外市场的企业,现有设计师团队可能不了解海外市场,众包竞赛是寻找“设计蓝海”的有效途径。管理者在众包竞赛中应主动与参与者沟通,但在提供高度积极或高度负面的反馈时也应谨慎。他们可能倾向于为低绩效参与者提供准确的反馈,以帮助他们理解产品的功能,激励参与者付出更多努力以实现目标。本文表明,过于正面或负面的反馈在推动方面并非那么有效,过于积极的反馈可能会发出参与者已经接近目标的信号,削弱其参与的积极性,而过于负面的反馈则意味着成功概率很低,落后者会倾向于退出竞赛。

6.4 局限与展望

首先,本文没有考虑过程反馈的成本,虽然可以证实过程反馈对产品设计质量产生积极的影响,但无法推断这种反馈提供所带来的投入回报,未来可以构建一个成本评估模型以权衡反馈成本和提交质量改善。其次,未考虑私人反馈或公开反馈之间的差异,后续可进一步探索反馈的最佳频率以及私人和公开反馈机制之间的绩效差异。最后,奖励保证是一种能有效激励参与者提交设计方案的手段,未来可在奖励保证的情况下研究过程反馈对众包竞赛参与者提交行为的影响。

猜你喜欢
参与度参与者产品设计
智能产品设计
提高学生课堂参与度 激活珠心算生命力
休闲跑步参与者心理和行为相关性的研究进展
台胞陈浩翔:大陆繁荣发展的见证者和参与者
《冷·暖》
《教堂之夜》
初中语文教学中如何有效提高学生的课堂参与度
鼓励自主安全活动 提升员工参与度
浅析打破刚性兑付对债市参与者的影响
LESS IS MORE:极简主义的产品设计