A/B测试：驱动数字创新的隐形力量

邹腾剑 孙旭航 熊霏

“早试错，常试错，敢试错”（Fail early， fail often， fail forward）这一箴言，被硅谷的许多科技公司奉为圭臬。面对外部环境的不确定性，以A/B测试为代表的全新产品迭代策略的涌现，让企业能够大胆创新、频繁试错。然而，这种鼓励快速测试新想法和新思路的策略是否真的有助于企业的成功？为了回应这一质疑，科宁（Koning）等学者对2008年至2013年间成立的全球35262家高科技初创企业展开追踪研究。结果显示，虽然采用A/B测试的企业相对较少，但相比于其他未采用A/ B测试的企业，他们的表现更为出色：平均每周网站访问量提升约10%，获得风险资本融资的概率增加5%，推出新产品的比率提高9%至18%。A/B测试犹如李白诗中“深藏功与名”的侠客，默默无闻地推动着企业的数字创新，对数字经济发展的重要意义不容小觑。

为深入理解A/B测试及其作用，本文首先介绍A/B测试的内涵、起源、发展现状和行业应用，然后阐述A/B测试的理论基础和作用机制，最后分析A/B测试可能带来的负面影响，并提出管理者驾驭A/B测试的有效策略。

A/B测试的内涵

A/B测试是一种以随机对照实验为底层逻辑、以数据驱动为核心思想的数字技术，它将用户随机分配至两个或两个以上版本的数字产品、服务、设计或策略等数字方案中，最终通过对比实验结果来评估确定最优方案。例如，华为App Gallery Connect（AGC）服务提供A/B测试功能，帮助应用开发者基于用户群体创建多个对比实验（见图1）。通过这些实验，开发者可以获得关键对比数据，从而选择最符合用户需求的应用界面、产品功能或营销方案。

在数字时代，A/B测试是一种快速、高效且低成本的决策工具。A/B测试的底层逻辑是随机对照实验，它将用户随机分配到实验组和对照组，通过实验来测试预先提出的假设，从而明确因果关系。基于此，实验者可以了解哪些因素能提升产品绩效，哪些因素会降低产品绩效，从而有针对性地对产品进行优化。此外，A/B测试也是一种大数据驱动的数字技术，企业可以通过A/B测试收集大量用户数据进行分析，据此得出可靠结论。總之，A/B测试的实验逻辑和大数据特性不仅加快了企业在数字创新过程中的决策速度，也提升了决策精准度，使之成为驱动企业数字创新的隐形力量。

A/B测试的起源及发展现状

A/B测试最早起源于医学领域的随机对照双盲实验。在大航海时代，船员因长途跋涉而饱受坏血病的困扰。为了寻找有效的治疗方式，1747年，英国皇家海军军医詹姆斯·林德做了人类历史上第一个随机对照实验：他先将12位生病的船员分成6组，让他们分别食用不同的辅食配方（见图2），食用橘子和柠檬的那一组船员最终康复。由于时代的局限性，林德当时没能发现橘子和柠檬中含有的维生素C可以治疗坏血病，但他的实验标志着检验药物有效性的方法从蒙昧走向科学，对人类战胜坏血病具有里程碑意义。A/B测试在医学领域的应用不仅改变了人们对坏血病的认知，也为现代医学研究奠定了科学的基础，为更多患者带来了福音。

林德的随机对照实验点燃的科学之光照亮了医学、工程学和社会科学等多个领域探索严谨因果关系的道路。随着互联网行业的崛起，林德的实验思想跨越时空与数字技术相逢，为互联网行业的数字创新带来了数据和实验驱动的全新思路。经典的林德实验在互联网时代重新焕发生机，获得了一个时髦的名字：A/B测试。

谷歌是互联网行业公认的A/B测试先驱。2000年，谷歌的工程师开展了互联网领域的首个A/B测试，用于评估搜索结果首页返回多少项搜索结果更合适。虽然这次测试因为搜索结果加载速度过慢失败了，但谷歌从此成为了A/B测试的忠实拥护者——仅2011年一年，谷歌就进行了七千多次A/B测试来帮助优化产品功能。现在，谷歌每月都会上线几百个大大小小的A/B测试，这些实验每年直接给公司带来超过10亿美元的增收，充分彰显了互联网公司“数据驱动决策”的发展理念。

谷歌的大获成功，点燃了各大互联网公司应用A/B测试的热情。每年有数以万计的A/B测试被谷歌、亚马逊、易贝（eBay）、脸书（Facebook）等先行者广泛应用于数字产品迭代、用户体验改进、算法优化、广告投放等方方面面，A/B测试的应用与推广已呈燎原之势。

与发达国家相比，A/B测试的思想和实践在我国市场扎根较晚，这与市场的发展阶段息息相关。在早期的“爆发增长”阶段，我国互联网市场拥有巨大的红利空间，用户群体迅速增长，互联网渗透率逐年提高，大多数互联网公司不需要实施复杂的数字实验就能快速获得大量用户。在这样的市场环境下，企业更倾向于迅速推出产品或服务，占据市场先机。然而，随着市场逐渐饱和，竞争日趋白热化，用户获取成本上升，早期轻易就能获得的市场红利开始消失。为了在激烈的市场竞争中脱颖而出，企业必须具备高技术壁垒和强大的效率优势，这就要求经营者们精益求精，在数字实验中探索和捕捉机会，实现持续创新和增长。

随着数字技术的蓬勃发展，国内一些企业开始意识到数字实验驱动创新的重要性，尝试从“野蛮生长”转向“精耕细作”。近年来，以字节跳动、百度、阿里巴巴、腾讯为代表的中国本土互联网公司开启了A/B测试的“西学东渐”之路。其中，作为互联网领域的佼佼者，字节跳动可以说是A/B测试的“头号粉丝”。早在2012年成立之初，字节跳动就在内部使用A/B测试，其旗下著名短视频平台“抖音”的名字，正是经过A/B测试和人为判断综合考量的结果。“独乐乐不如众乐乐”，历经十年打磨，字节跳动已成功将A/B测试产品化和商业化，并通过旗下的火山引擎DataTester向企业客户开放。截至2023年6月，火山引擎的A/B测试平台DataTester已累计进行二百四十万余次A/B测试，日新增实验四千多个，同时运行实验五万多个，服务了美的、平安银行、得到等上百家标杆客户。在字节跳动的辐射带动下，神策数据、百度、云眼、LeanCloud等平台相继推出A/ B测试服务。可以预见，A/B测试将在中国市场发挥越来越重要的作用，为企业创造更大的商业价值。

A/B测试在不同行业的应用

互联网巨头在A/B测试的普及进程中起到了引领性作用。在目睹实验的“威力”后，越来越多企业成为A/B测试的追随者，A/B测试逐渐在电商、影视、通信、金融、咨询、游戏、软件等行业得到广泛应用。

电商行业

与其他行业不同，电商行业通常不存在“一刀切”的解决方案，对某个品牌有效的特定策略可能对另一个品牌完全无效。因此，电商行业的A/B测试是一个综合性极强、需要精细管理和快速反应的过程，它要求卖家深入了解自己的客户、产品和市场环境，以便制定最有效的销售策略。

作为国内领先的电子商务平台，京东通过智能店长工具向卖家提供A/B测试服务，以评估和优化其在线商店的用户体验和销售效果（见图3）。借助智能店长，卖家可以自行设置实验周期、分流占比等参数，对商品主图进行A/B测试，观察不同版本主图对销售转化的促进作用。事实证明，选择使用A/B测试的卖家获得了可观的回报——主图实验通过数据驱动帮助卖家更有效地利用流量，使搜索侧点击率平均提升了2%—3%，A/B测试带来的商业效益可见一斑。

影视行业

在快节奏的网络时代，企业常常使用A/ B测试来对网站界面、推送内容等进行实验，以吸引越来越没有耐心的访客。爱奇艺是中国高品质视频娱乐服务提供者的代表，拥有超过1.2亿会员。目前，爱奇艺A/B测试实验系统已经服务于公司多个业务线，真正实现了“数据驱动业务”。

提升用户使用时长是爱奇艺的重要目标之一，为了实现这个目标，爱奇艺的产品团队在2021年对APP的电视剧频道页进行了UI改版A/B测试。他们对访问过电视剧频道页的用户画像进行分析，针对性地调整了频道页的UI交互设计（见图4）。测试结果显示，新版频道页使人均正片观看时长提升了17.85%，说明新版频道页在用户体验上显著优于旧版频道页，这為产品优化提供了重要的决策依据。

通信行业

数字化转型进入全新阶段，通信行业正积极抢抓新一轮战略机遇，力争在数字经济发展的“新蓝海”中勇立潮头。4G管家是中国移动为4G用户专门定制的移动端APP。为了提高APP的留存率和活跃度，产品部门提出了一个更新计划：将APP首页的业务文案由“话费余额”修改为“话费账单”（见图5）。为了验证这项改动的合理性，他们采用A/B测试对两个版本的用户进行了行为对照实验。三周过后，后台数据明确显示：与原版相比，实验版本的“话费账单”文案导致核心业务数据下降近23%。这表明用户对实验版本文案的接受度并不高。产品团队综合考虑了用户使用余额业务的情况以及这一业务的核心价值，最终决定放弃此次改动。中国移动的A/B测试经验提醒我们：用户使用产品有固有的习惯和认知，新想法的成效最好还是交由“实验”检验。

A/B测试的理论基础

A/B测试为何具有如此大的威力，背后机理何在？A/B测试本质上是一种数字实验（digital experimentation），组织和战略领域围绕实验（experimentation）的研究为我们理解A/B测试的惊人力量提供了重要理论视角。

开展实验对企业来说并非新鲜事。早在1969年，西蒙（Simon）就提出测试和实验是企业研发过程中的有效策略。此后，学者们探究了不同场景下不同类型的实验对企业创新、绩效等各方面的积极影响，包括对产品、商业模式、创业机会等的实验。这部分文献的核心观点是，实验是企业产生新知识和应对内外部不确定性的一种重要战略。通过实验，企业可以测试不同的策略或假设，并基于数据和因果关系作出决策，这有助于企业更好地适应内外部环境的变化、提高决策效率和质量。

实验之所以有这些功效，是因为它可以促进组织学习，学术界把这种类型的组织学习称为实验型学习（experimental learning）。具体来说，实验型学习指的是企业有意地创造对比条件来测试因果关系并产生新知识的过程。与经验学习（experiential learning）、认知学习（cognitive learning）、替代学习（vicarious learning）等传统学习方式相比，实验型学习能够帮助企业快速、高效且低成本地进行知识的获取、吸收、整合和利用，因而能够更好地提升企业在创新活动中的决策效率和决策质量。

实验型学习发生在企业的实验过程中。根据哈佛商学院斯蒂芬·汤姆克（Stefan Thomke）教授提出的实验迭代循环模型（见图6），企业的实验一般包含四个阶段：设计（design）、构建（build）、运行（run）和分析（analyze）。在设计阶段，实验者明确实验的目标和方向，并进行实验构思和设计。在构建阶段，实验者构建进行实验所需的原型或模型。在运行阶段，实验者在真实或模拟的环境中运行实验，并捕捉和收集相关数据。最后，在分析阶段，实验者分析和评估实验中收集到的数据，尝试理解其中蕴含的因果关系。如果分析的结果令人满意，则停止实验，基于实验结果进行决策。否则，实验者将依据从实验中学习到的知识改进设计并重新迭代。