论爬虫协议对互联网竞争关系的影响

杨华权

论爬虫协议对互联网竞争关系的影响

杨华权

从爬虫协议的法律性质出发，研究了爬虫协议的内容，区分了爬虫协议以及根据爬虫协议制定的robots.txt。从反不正当竞争法角度而言，设置排斥性条款的robots.txt可能违背爬虫协议的自由和公平精神，从而违反公认的商业道德和诚实信用原则。从反垄断法角度而言，如果没有合理理由，具有市场支配地位的服务商利用robots.txt进行拒绝交易和歧视对待行为，可构成垄断行为。

搜索引擎爬虫协议行业惯例竞争关系垄断行为

互联网经济是知识经济向纵深发展的高级阶段。当前，互联网市场竞争主体日益增多，竞争日趋激烈，细分市场格局高度集中。互联网行业正经历着从自由竞争时代向垄断竞争时代的转折，在某些领域已经出现了寡头垄断，基于商业模式模仿的同质化竞争助长了不正当竞争行为和滥用市场支配地位行为，a朱乾 龙：《我国 互联网市场 竞争现状与问题 分析》，http ∶//www.miit.gov.cn/n11293472/n11293832/n15214847/ n15218234/15475341.html；丁道勤：《我国互联网市场竞争对监管的挑战及应对思考》，http∶//www.cttl.cn/tegd/flfg/201304/ t20130415_917440.html，最后访问日期：2013年8月22日最后访问。损害了市场秩序，破坏了正常竞争。因此，对互联网行业垄断行为和不正当竞争行为要高度重视。

北京市第一中级人民法院于2013年2月8日正式受理，并于同年10月16日开庭审理了北京百度网讯科技有限公司、百度在线网络技术（北京）有限公司（以下合称“百度公司”）诉北京奇虎科技有限公司（以下简称“奇虎公司”）基于搜索引擎领域里robots协议（即Robots Exclusion Protocol，网络爬虫排除标准，亦称爬虫协议、爬虫规则、机器人协议、蜘蛛协议等）的不正当竞争纠纷一案。b本案由百度公司在2012年10月16日向北京市第一中级人民法院提起诉讼而引发，诉由包括不正当竞争及著作权侵权。起诉后，其间经历了庭前调解阶段，百度公司后来放弃了著作权侵权的诉求。该案是百度公司与奇虎公司相互争夺搜索引擎市场网络资源的商业竞争c这场 竞 争 被 称 为 “ 3B 大 战 ” ， 更 进一 步的 介绍可 参 见 互 动 百 科 词 条 “ 3B 大 战 ” ， http ∶//www.baike.com/ wiki/3B%E5%A4%A7%E6%88%98， 最后访问日期：2013年6月28日。在诉讼领域的延续，引起了广泛关注。此案一出，robots协议的法律性质面临正式的司法认定，它对互联网竞争关系的影响以及应如何完善该协议迫切需要进一步的研究。

在该案中，百度公司诉称其依据国际互联网行业规则即robots协议设置robots.txt文件，但奇虎公司违反该规则，其所推出的360搜索服务违规抓取百度公司经营的百度网站（http:// www.baidu.com）及百度知道（http://zhidao.baidu. com）、百度百科（http://baike.baidu.com）、百度贴吧（http://tieba.baidu.com）等多个栏目的内容，生成“网页快照”复制件存储于其自身服务器中，当用户点击相应搜索结果的链接时，直接向网民提供该“网页快照”以替代百度公司向网民提供相应服务。d杨华权、曲三强：《论爬虫协议的法律性质》，载《法律适用》2013年第4期，第30页。奇虎公司则表示，robots.txt仅仅是指导和提示搜索引擎蜘蛛程序“善意的提示性txt文件”，既不是法规或标准，也不是合约，因而不存在违法与不违法的问题。e王 晓 雁 ： 《 百 度 诉 奇 虎 360 索 赔 一 亿 元 法 院 立 案 》 ， 载 http ∶//www.legaldaily.com.cn/index/content/2013-02/21/ content_4215407.htm?node=20908，最后访问日期：2013年2月28日。

从竞争法角度而言，此案对互联网领域的竞争关系提出了新课题、新挑战。为此，需要从robots.txt文本文件入手，研究robots协议的法律性质，f本文作者已在另一篇论文中详细论述了robots协议的法律性质，部分观点在本文中直接引述。具体参见杨华权、曲三强：《论爬虫协议的法律性质》，载《法律适用》2013年第4期。需要注意的是，本文对其中的观点有进一步的发展。明确与搜索引擎相关的不正当竞争行为与垄断行为，以期规范互联网产业的发展。

一、爬虫协议对不正当竞争认定的影响

不管是国内还是国外的法院，尽管判决结果存在差别，但对robots协议的性质的认识还比较一致，即：从权利人角度而言，robots.txt是网络环境下权利人依据robots协议采取的控制访问的技术手段，或者至少肯定了设置恰当的robots.txt可以向搜索引擎蜘蛛程序起到告知（是否允许复制）的作用；g张金平：《有关爬虫协议的国外案例评析》，载《电子知识产权》2012年第12期，第84页。从搜索引擎蜘蛛程序角度而言，公平、合理的robots.txt应该得到尊重和遵守，忽略robots.txt的禁止性规定而抓取网站相关内容，则可能构成恶意行为。从这个意义上来讲，中外法院认定robots协议构成搜索行业的惯例方面是比较一致的。不过，这些案例仅仅是认定robots协议可以作为行业惯例，但是并没有任何判例对根据robots协议设立的robots.txt的公平性、合理性进行评定，也没有任何案例对搜索引擎蜘蛛程序忽略不公平的robots.txt的禁止性规定而抓取网页的行为性质作出评定。如果仅仅是简单认定robots协议可以作为行业惯例，但罔顾设定robots.txt的不公平、不合理之处，从而对案件作出简单的裁定，显然过于武断。

在认定不正当竞争案件时，当事人之间是否具有竞争关系往往是构成不正当竞争行为的要件之一。当事人之间如果不具有竞争关系，就不会构成不正当竞争行为。因此，首先确定当事人之间是否具有竞争关系具有举足轻重的作用。

（一）竞争关系

竞争将在竞争者之间产生一定的竞争关系，存在竞争关系是竞争法得以调整竞争者关系的前提和基础。“竞争关系是取得经营资格的平等市场主体之间在竞争过程中形成的社会关系。认定不正当竞争，除了要具备一般民事侵权行为的构成要件以外，还要注意审查是否存在竞争关系。存在竞争关系是认定构成不正当竞争的条件之一。”h曹建明：《加大知识产权司法保护力度 依法规范市场竞争秩序──在全国法院知识产权审判工作座谈会上的讲话》（2004年11月11日）。对于竞争关系，学界区分为广义竞争关系和狭义竞争关系，认为：“反垄断法所要求的竞争关系是严格意义上的竞争关系，或者说狭义的竞争关系；反不正当竞争法上的竞争关系是一种广义的竞争关系。”i孔祥俊：《反垄断法原理》，中国法制出版社2001年版，第260页。从狭义上而言，竞争关系的主体限于同一相关市场上的经营者之间，非同一相关市场上的经营者之间不存在竞争关系。从广义上来说，竞争关系的主体还包括经营不相同业务的经营者，如果该经营者的行为违背了《反不正当竞争法》第2条规定的竞争原则，也可以认定相互间存在竞争关系。j曹建明：《加大知识产权司法保护力度 依法规范市场竞争秩序──在全国法院知识产权审判工作座谈会上的讲话》（2004年11月11日）。

（二）与robots.txt相关的网络环境下的竞争关系

robots.txt是存放于网站根目录下的ASCII编码的文本文件，它通常告诉搜索引擎蜘蛛程序在此网站中可以抓取和禁止抓取的内容。因此，与robots.txt最直接相关的网站，就是提供搜索引擎服务的网站以及提供内容服务的网站。与此相关的竞争就是在它们之间展开，不过其中一方必定是搜索引擎服务提供者。

1.搜索引擎服务之间的竞争

搜索引擎是指“根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。”k百度百科：“搜索引擎”，http∶//baike.baidu.com/view/1154.htm，最后访问日期：2013年10月25日。如果没有搜索引擎，就难以对无序的网络信息资源进行检索、交接和共享乃至深层次的开发利用，形成信息孤岛。搜索引擎技术的目的就是要消除信息孤岛，实现互联网上所有资源的全面连通。搜索引擎是用户访问互联网的向导，搜索引擎能够根据用户输入的关键词，全面、迅速地将用户需要的信息从海量的互联网信息中拣选出来并提供给用户。

搜索引擎按其工作方式主要可分为三种：全文搜索引擎（Ful智库百科：“互联网内容提供商”，http∶//wiki.mbalib.com/wiki/互联网内容提供商，最后访问日期：2013年10月25日。l Text Search Engine）、目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。搜索引擎按照其搜索范围又可分为站内搜索、分类导航搜索和全网搜索。

按照狭义竞争关系的分析，同类产品极易产生竞争关系，尤其对于消费者无需重复消费的产品和服务，这样的竞争是明显的。在搜索引擎服务商之间，搜索服务本身具有同一性，即为用户提供搜索结果的整合排序，不同搜索平台在这个过程中是彼此独立的，用户选择是排他的。因此，同类搜索引擎服务商之间的竞争关系明朗，例如全网全文搜索之间存在竞争关系的有百度（Baidu）、google、Bing、360搜索、搜狗搜索等。

另外，不同类型搜索引擎之间也具有竞争关系。不同类型的搜索引擎往往存在叠加使用的情况，用户可能在全网搜索出相关网站后，并不能立刻链接到检索的具体信息，而是需要再进入网站进行分类导航或者站内搜索，以使搜索结果更准确，这时候，不同类型的搜索引擎并不是排他的，相反，小范围垂直搜索或站内搜索反而成为通用搜索的推广客户，彼此合作关系胜过竞争关系。但随着不同产品的革新和完善，各类搜索引擎将更加完善，垂直搜索引擎正在逐渐蚕食通用搜索的市场份额，竞争将日趋明显。

2.搜索引擎服务与提供内容服务之间的竞争

互联网内容提供商（Internet Content Provider, ICP）是向广大用户综合提供互联网信息业务和增值业务的运营商，如新浪、搜狐、163等。按服务对象和提供的信息内容等划分，ICP主要包括网上媒体运营商、数据库运营商、信息咨询商和信息发布代理商。网上媒体运营商主要通过免费为上网用户提供信息服务来聚集消费者，普通用户通过自己的浏览器输入媒体运营商Web网址，进入其服务网站即可获得媒体运营商所提供的信息，这些免费的信息服务包括新闻、Internet上的信息目录分类、Internet上的网页和网站搜索、个人的个性化信息服务配置、聊天室和分类广告等。数据库运营商是通过互联网将按专业领域分类的各种统计数据、文献书目和论文期刊等提供给用户，用户在网上凭会员用户名和密码进入数据库运营商的Web网站，提交自己要查询信息的各种要求，数据库运营商将使用用户指定的通信方式，将检索信息结果返回给用户。信息咨询商主要是为企业提供战略规划和决策咨询服务。信息发布代理商的业务是在传统的信息中介代理在Internet上展开代理撮合的全新业务方式。l智库百科：“互联网内容提供商”，http∶//wiki.mbalib.com/wiki/互联网内容提供商，最后访问日期：2013年10月25日。

搜索引擎提供信息定位服务，达到互联网的互联互通。因此，搜索信息的全面性是搜索引擎应当满足的最基本也最重要的要求，而搜索的快速、搜索结果顺序编排合理以及尽量减少和屏蔽搜索结果中的垃圾信息及风险网站等则是搜索引擎在全面性基础之上需要达到的更高的要求。互联网内容服务就是为用户提供各种信息，包括国内外的政治、经济、文化、体育、生活、娱乐等信息，具体表现为文字、图片、文档、音频、视频等，不仅可以在线浏览，而且在一定条件下可以提供下载。有了搜索引擎服务，可以帮助用户快速访问互联网内容服务。从这个意义上说，搜索引擎服务商与互联网内容提供商并不是具有直接竞争关系的经营者。

（三）基于robots.txt的不正当竞争行为的认定

竞争的本质是市场主体争取交易机会或者获取交易上竞争优势的活动。所谓不正当竞争行为，就是经营者采取不正当手段争取交易机会的行为。

1.搜索引擎服务与提供内容服务的竞争关系

在百度公司诉奇虎公司案件中，尽管双方都是搜索引擎服务提供商，但该案争议的焦点不在于百度搜索与360搜索两种服务之争，而在于百度公司提供的内容服务与360搜索引擎服务之间的争端。这是确定竞争关系时首先需要明确的。

如前所述，搜索引擎服务商与互联网内容提供商并不是具有直接竞争关系的经营者。但是，反不正当竞争法上的不正当竞争行为不必是经营同类或者替代商品的对方经营者争夺交易机会的行为，而是以不正当手段谋取竞争优势或者破坏他人竞争优势的行为，也即是以不正当方式与竞争对手或者其他经营者直接或者间接争夺交易机会的行为，竞争关系就是由此产生的损害与被损害的关系。mm孔祥俊：《反不正当竞争法原理》，知识产权出版社2005年版，第76页。据此，竞争关系可以归为三种基本的类型：同业经营者之间的竞争关系、为自己或者他人争取交易机会而产生的竞争关系以及因破坏他人竞争优势而产生的竞争关系。第一种类型是狭义上的竞争关系；后两种类型是广义上的竞争关系。

从狭义上而言，从百度公司诉奇虎公司的案件事实和当初发生的客观情况来看，奇虎公司是作为搜索引擎服务商而不是作为内容服务商出现的；百度公司尽管也是搜索引擎服务商，但在该案中，其主要作用在于提供内容服务，如百度知道、百度百科、百度文库、百度贴吧、百度旅游等，而不是提供搜索服务。这些内容网站与百度自身的搜索服务无关。因此，在该案中，双方提供的服务不同，二者之间不具有替代关系。

从广义上说，尽管搜索引擎服务商与互联网内容提供商并不是同业经营者，双方之间不存在直接竞争关系，但如果存在谋取竞争机会、破坏对方竞争优势的行为，违反了商业道德和行业惯例，就可以认为双方之间存在竞争关系。这是从广义角度来理解的。目前我国司法实践也是从这个角度来理解不正当竞争行为中的竞争关系。

2.区分作为商业惯例的爬虫协议与具体的robots.txts.txt

在民商法领域，法律所未规定者，可依习惯处理。《保护工业产权巴黎公约》第10条之2款规定，凡在工商业活动中违反诚实的习惯做法的竞争行为，构成不正当竞争行为。在对该条款的权威解释中，在认定某一行为是否构成不正当竞争，不限于在请求保护的该成员国所存在的诚实的习惯做法，而且也必须考虑国际贸易中形成的诚实的习惯做法。n［ 奥地利］博登浩森：《保护工业产权巴黎公约指南（附英文文本）》，段瑞林、汤宗舜译，中国人民大学出版社2003年版，第97页。我国《反不正当竞争法》第2条也要求经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用原则，遵守公认的商业道德。已经有学者指出，不管是国际通用的技术标准或行业惯例，还是自愿性的规范或者基于商业道德和行业惯例的自律规则，都应当得到法律的支持，在不正当竞争案件中，可以适用反不正当竞争法的一般条款。爬虫协议就属于上述的一种情形。o张平：《违反“爬虫协议”能否适用反不正当竞争法一般条款》，载《人民法院报》2013年6月5日第7版。爬虫协议主要基于安全与隐私的原因而建立：“（1）搜索技术应服务于人类，尊重信息提供者的意愿，并维护其隐私权；（2）网站有义务保护其使用者的个人信息和隐私权不被侵犯。”p百度百科：robots协议，http∶//baike.baidu.com/view/9274458.htm， 最后访问日期：2013年11月23日。作为一种行业惯例，在搜索行业中已得到经常的遵循，从而使人有理由期望它在有争议的交易中也将得到遵守。q参见美国《统一商法典》第1—205（2）条。

值得注意的是，作为行业惯例的爬虫协议与具体的robots.txt并非同一概念，但将二者混淆的大有人在，如“Robots协定r是搜索引擎在抓取网站信息时要遵守的一个规则，是国际互联网界通行的道德规范。网站主人通过Robots协议明示自动抓取程序，服务器上什么内容可以被抓取，什么内容不可以被抓取。”“如果不遵循Robots协议，将会破其业界信任，使得网站不愿意被抓取的内容被搜索引擎索引，最终伤害用户的利益。”s百度百科：robots协议，http∶//baike.baidu.com/view/9274458.htm，最后访问日期：2013年11月23日。即使搜索引擎服务与内容服务具有竞争关系，在不正当竞争行为的认定上，还需进一步区分爬虫协议以及具体的robots.txt文本本身。可以说，网站是通过robots.txt文本文件实现爬虫协议，爬虫协议确定了robots.txt需要遵循的原则。作为一种行业惯例，爬虫协议具体内容应该是：

（1）设置了robots.txt语法规则；

（2）确定蜘蛛程序访问的范围并置放于站点根目录下，作为蜘蛛程序访问该站点的第一个文件；

（3）确立了公平、开放和促进信息自由流动的原则。

爬虫协议作为一种行业惯例，体现了一定的商业道德，其被遵循的应该是上述原则和精神。但是，如果将作为一种行业惯例的爬虫协议混同于某一具体的robots.txt，则完全混淆了一般与个别的界限。不遵守爬虫协议是一个概念，不遵守某一个具体的robots.txt又是另外一个概念，不能混同。

3. 含有拒绝交易、歧视对待内容的 robots.bots. txt与商业道德的关系

某一具体的robots.txt如果完全符合爬虫协议的精神，则要体现公平、开放和促进信息自由流动的原则。对robots协议的尊重以及对robots. txt的遵守，体现了一种有序竞争的商业道德。从网站角度而言，网站有权根据爬虫协议来设置robots.txt，从而控制蜘蛛程序访问，防止未经许可对网站内容的使用，维护合法权益不受侵犯；从搜索引擎蜘蛛程序角度而言，robots.txt协议是访问某一网站内容的路径指令，理应得到尊重和遵守，忽略robots.txt而违规抓取网站内容可能构成恶意行为。t杨华权、曲三强：《论爬虫协议的法律性质》，载《法律适用》2013年第4期，第34页。

但是，如果某一具体的robots.txt文本文件采取了拒绝交易、歧视规定的措施，是否违反诚实信用原则，是否违背商业道德？

以百度公司诉奇虎公司为例，百度公司设置的各种robots.txt具体如下：在百度网站的robots.txtu在http∶//www.baidu.com/robots.txt可以访问。中，允许访问的搜索引擎蜘蛛程序有Baiduspider、Googlebot、MSNBot、Baiduspiderimage、YoudaoBot、Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider、JikeSpider、Sosospider、PangusoSpider。禁止Baiduspider抓取网页地址以“www.baidu.com/baidu”和“www. baidu.com/s?”开头的所有网页的内容；对于其他搜索引擎，还有禁止访问“www.baidu.com/ shifen”、“www.baidu.com/homepage”目录及其中的所有内容，以及网页地址以“www. baidu.com/cpro”为开头的所有网页。除上述所列以外，禁止所有其他搜索引擎蜘蛛程序访问“www.baidu.com”的所有内容。在百度知道的robots.txtv在http∶//zhidao.baidu.com/robots.txt可以访问。中，允许抓取的搜索引擎在百度网站允许范围基础上增加了Googlebot-Mobile。除了Baiduspider不得抓取网页地址以“zhidao.baidu. com/w?” 开头的所有网页内容外，允许前述所列其他搜索引擎抓取百度知道栏目的所有内容。除上述所列以外，禁止所有其他搜索引擎抓取百度知道栏目的任何内容。百度百科的robots.txtww在http∶//baike.baidu.com/robots.txt可以访问。和百度贴吧的robots.txtx在http∶//tieba.baidu.com/robots.txt可以访问。也有大致相似的规定。

在前述几个robots.txt中，360搜索蜘蛛程序（360Spider）均被禁止访问百度网站、百度知道、百度百科和百度贴吧的任何内容，但其忽略上述robots.txt的禁止性规定，抓取相应的内容，从而引发诉讼。对此，百度公司的解释是，“百度并没有禁止所有爬虫抓取问答、知道和贴吧的内容，百度只是禁止了不规矩的、存在潜在安全风险的爬虫，这恰是保护市场秩序，保护用户隐私权的合理举措。”y百度百科：“robots协议”，http∶//baike.baidu.com/view/9274458.htm， 最后访问日期：2013年11月23日。这样的解释是否充分合理？

对于一个网站来说，设置robots.txt主要目的在于告诉搜索引擎蜘蛛程序的爬行路径，保护网站内部信息不被蜘蛛程序抓取，引导蜘蛛程序不要抓取对用户没有价值的信息，保护中小网站的流量平衡，避免爬虫快速抓取给网站服务器带来过大压力。一般来说，用户在利用搜索引擎检索到内容网站时，对内容网站并不构成伤害，反而会为内容网站带来更多用户。如果某一搜索引擎蜘蛛程序“快速抓取导致网站过载，影响网站正常运行；重复抓取相同的文件，抓取层级很深的虚拟树状目录，浪费服务器资源；抓取网站管理后台等内部敏感信息，或抓取临时文件等对用户没有价值的信息；抓取会对投票等CGI脚本造成负面影响，可能出现虚假的投票结果”z360百科：《robots协议》，http∶//baike.so.com/doc/4854891.html，最后访问日期：2013年11月23日。的时候，可能会被禁止抓取该网站的相关内容。事实上，百度公司方面未曾有足够的证据证明360搜索具有“不规矩的、存在潜在安全风险”，也未曾证明其具有侵犯隐私方面的证据，因而其辩解的可信度遭到质疑。相反，360搜索为百度公司带来不小的流量。

有人可能会争辩说，网站通过robots.txt限定允许他人访问的范围，是法律所允许的自由。即使这种限定是明显针对某特定搜索引擎，在其资源不属于公共资源或因其他原因法律要求必须对他人平等开放的资源之外，也很难有违法性或违反商业道德及诚信原则的问题可言。在网站已明确拒绝特定搜索引擎访问的情况下，该搜索引擎的强行“访问”构成民法上的“侵入”（trepass）。有人还发表评论指出，robots. txt“就类似客人在酒店住宿时在门上挂了一块‘请勿打扰’的牌子，但现在有服务员说要给客人提供贴心的服务，强行摘下牌子进入房间。”还有人指出“360通过隐蔽访问来源等技术绕开了百度设置的保护措施，未经许可加以抓取，则涉及不正当竞争。”@7敖 祥菲：《3B大战起诉与反起诉：1亿元 PK 4亿元》，http∶//www.cq.xinhuanet.com/2013-10/17/c_117753344.htm，最后访问日期：2013年10 月25日。实际上这样的评论只是看到表面，并未了解进一步的实质。

由于爬虫协议中不仅包括是否允许搜索引擎进行抓取的内容，还包括允许谁和不允许谁进行搜索的内容。这些排斥性条款可能会被具有市场支配地位的搜索引擎公司利用，用来强迫一些内容网站订立排他性协议。Google搜索在拥有垄断地位之后，就曾利用这些排斥性规则阻碍后来的竞争者。因此，对于含有拒绝交易、歧视对待内容的robots.txt，需要结合该网站是否具有市场支配地位进行分析。如果该网站具有市场支配地位，则可能构成拒绝交易、歧视对待的垄断行为，本文将对此展开分析。如果该网站不具有市场支配地位，该搜索引擎的强行“访问”未必构成民法上的“侵入”（trepass）。

在eBay v. Bidder's Edge中，审理该案的Ronald M. Whyte法官指出，eBay的服务器是私有财产，eBay授予公众可以有条件的访问，并禁止包括BE在内所采取的自动化式的访问。Whyte法官认为，超出同意的范围，就构成对他人财产的侵犯；而BE的行为明显超越了eBay允许的使用范围，构成非授权的使用，是对eBay财产的侵犯。@8e Bay, Inc. v. Bidder's Edge, Inc., 100 F. Supp. 2d 1058 (N.D. Cal. 2000).但Whyte法官是基于滑坡谬误（Slippery slope）理论，即如果BE的行为被允许继续而不受限制，将会鼓励其他拍卖门户去使用蜘蛛程序参与到类似的查询中来，最终将导致对eBay不可弥补的损害。这种理论通过对连串因果关系的不合理使用，将“可能性”转化为“必然性”，得出错误的结论。2003年，在Intel Corp. v. Hamidi一案中，加利福尼亚州最高法院就暗示地推翻了Whyte法官的观点。在Ticketmaster Corp. v. Tickets.Com, Inc.中，法院则强调“由于‘蜘蛛’并不会对动产造成实质损害，必须存在证据证明使用或利用被‘蜘蛛化的’电脑（或网络）时受到了‘蜘蛛’使用行为的不利影响。于此未见此种证据。不失尊敬地，本院不同意其他地区法院关于以下的认定，即认定仅仅是使用蜘蛛进入一个对公众开放的网页来收集信息的行为就足以满足侵害动产中损害的条件。”@9“Since the spider does not cause physical injury to the chattel, there must be some evidence that the use or utilityof the computer (or computer network) being ‘spiderized’ is adversely affected by the use of the spider. No such evidence is presented here. This court respectfully disagrees with other district courts' finding that mere use of a spider to enter a publicly available web site to gather information, without more, is sufficient to fulfill the harm requirement for trespass to chattels.” See Ticketmaster Corp. v. Tickets.Com, Inc., 2003 WL 21406289 (C.D.Cal. Mar.7, 2003)。

相反，互联网的本质要求是“互联互通”。诚然，互联互通并不意味着网站必须允许所有人平等地访问和利用网站，除非网站中的资源属于公共资源或因其他原因法律要求必须对他人平等开放的资源，网站可以通过robots.txt设定授权性条款和排斥性条款，将访问的范围限制于特定的地域或特定的人，或者排除特定地域的访问或特定人的访问。但是，这应该有一个界限，即该种设定不应违背公平、开放和促进信息自由流动的原则。搜索引擎的使命在于信息定位，为用户提供访问信息的路径。百度公司允许Google等搜索引擎蜘蛛程序的访问，却排斥了360搜索引擎蜘蛛程序的访问，如果仅仅以其网站不属于“公共资源或因其他原因法律要求必须对他人平等开放的资源”，理由缺乏正当性。

需要注意的是，最高人民法院在山东省食品进出口公司、山东山孚集团有限公司、山东山孚日水有限公司与马达庆、青岛圣克达诚贸易有限公司不正当竞争纠纷案（“海带配额”案）中指出：“在规范市场竞争秩序的反不正当竞争法意义上，诚实信用原则更多的是以公认的商业道德形式体现出来的。商业道德要按照特定商业领域中市场交易参与者即经济人的伦理标准来加以评判，它既不同于个人品德，也不能等同于一般的社会公德，所体现的是一种商业伦理。反不正当竞争法所要求的商业道德必须是公认的商业道德，是指特定商业领域普遍认知和接受的行为标准，具有公认性和一般性。即使在同一商业领域，由于是市场交易活动中的道德准则，公认的商业道德也应当是交易参与者共同并普遍认可的行为标准，不能仅从买方或者卖方、企业或者职工的单方立场来判断是否属于公认的商业道德。具体到个案中公认的商业道德，应当根据特定商业领域和个案情形（如特定行业的一般实践、行为后果、交易双方的主观状态和交易相对人的自愿选择等）具体分析确定。”#0#0 最高人民法院（2009）民申字第1065号民事裁定书。#1 孔祥俊：《反不正当竞争法原理》，知识产权出版社2005年版，第67页。#2 王先林：《中国反垄断法实施热点问题研究》，法律出版社2011年版，第341页。

在所有主流搜索引擎中，百度公司唯独限制360搜索的蜘蛛程序，有违公平原则；百度公司的限制使得360搜索的用户无法正常通过360搜索获取百度网站的内容，有违开放原则和促进信息自由流动原则。在没有正当理由的前提下，百度公司设置的robots.txt严重违反了诚实信用原则和公认的商业道德，从而具有不正当性。如果要求其他搜索引擎服务商遵守这样有失公平合理的文本文件，显然会违背robots协议的精神，同时也与搜索引擎的信息定位服务以及互联网的公平、开放和促进信息自由流动的原则精神格格不入。违背了商业道德的robots.txt不应被遵守。因此，即使从广义上看，具体到该案，360搜索引擎忽略百度公司设置的各种robots.txt文本的禁止性规定而抓取相关内容，并没有违背诚实信用原则和公认的商业道德。从而，在忽略robots.txt的禁止性规定而抓取相应内容时，需要首先明确robots. txt是否满足公平、合理和促进开放的原则，而不能泛泛地认为“robots.txt”构成商业惯例而要求搜索引擎一概无条件地遵守。

二、爬虫协议对垄断行为认定的影响

如前所述，反垄断法要求的竞争关系一般为狭义的竞争关系。反垄断法如此严格界定竞争关系，是与其制止限制竞争行为、维护竞争自由的立法目的分不开的。不过，如果经营者已经取得了垄断地位，特定的市场结构已不具有竞争性或者竞争不充分，该经营者的垄断行为既可能损害竞争对手或者其他经营者的利益，也可能损害消费者的利益，在这种情况下，其垄断行为的构成并不必然以具有竞争关系为必要，但最终破坏的都是市场竞争的机制。因此，垄断行为的构成也并非一概要求具有竞争关系。#1#0 最高人民法院（2009）民申字第1065号民事裁定书。#1 孔祥俊：《反不正当竞争法原理》，知识产权出版社2005年版，第67页。#2 王先林：《中国反垄断法实施热点问题研究》，法律出版社2011年版，第341页。

在我国《反垄断法》第17条规定的7种滥用市场支配地位的行为中，包含了拒绝交易和歧视交易两种行为。拒绝交易是指“没有正当理由，拒绝与交易相对人进行交易”；歧视交易是指“没有正当理由，对条件相同的交易相对人在交易价格等交易条件上实行差别待遇”。

（一）爬虫协议对认定拒绝交易的影响

拒绝交易是具有市场支配地位的经营者拒绝向消费者或者其他经营者提供产品或服务的行为。拒绝交易行为往往是为了阻止经营者提供同等服务或者以拒绝交易为要挟实现其他目的。#2#0 最高人民法院（2009）民申字第1065号民事裁定书。#1 孔祥俊：《反不正当竞争法原理》，知识产权出版社2005年版，第67页。#2 王先林：《中国反垄断法实施热点问题研究》，法律出版社2011年版，第341页。合同自由是市场经济的基本法律原则，反垄断法并不一般性地给经营者强加与其他市场主体交易的义务。只有当市场主体滥用合同原则并对竞争的损害程度超过合同自由本身受到的限制的损害程度时，法律才对合同自由加以限制。受到反垄断法规制的拒绝交易方拥有的产品或者服务往往是独有的或者是进入某一市场所必须事先购买的产品或者服务。拒绝许可的目的就是排除竞争，巩固和加强自身垄断地位。

反垄断法审查知识产权拒绝许可行为时，通常需要考虑以下因素：具有市场支配地位的经营者是否滥用该优势地位，对相关市场的损害以及拒绝许可的理由与动机，知识产权是否构成关键设施和产生垄断杠杆作用等。
1.拒绝许可的企业具有市场支配地位
英文中的“独占（monopoly）”常被译为“垄断”。在反垄断法上的，独占泛指企业能够将价格提高到竞争水平以上而获取利润的所有情形或者状态#3#3 孔祥俊：《反垄断法原理》，中国法制出版社2001年版，第494页。#4《反垄断法》第18条：认定经营者具有市场支配地位，应当依据下列因素：（一）该经营者在相关市场的市场份额，以及相关市场的竞争状况；（二）该经营者控制销售市场或者原材料采购市场的能力；（三）该经营者的财力和技术条件；（四）其他经营者对该经营者在交易上的依赖程度；（五）其他经营者进入相关市场的难易程度；（六）与认定该经营者市场支配地位有关的其他因素。。独占地位与市场力量的概念大体相当，在我国，称之为市场支配地位。我国《反垄断法》第17条定义市场支配地位“是指经营者在相关市场内具有能够控制商品价格、数量或者其他交易条件，或者能够阻碍、影响其他经营者进入相关市场能力的市场地位。”各国对市场支配地位的表述略有不同，我国采取了与欧盟一致的表述，我国《反垄断法》第18条#4#3 孔祥俊：《反垄断法原理》，中国法制出版社2001年版，第494页。#4《反垄断法》第18条：认定经营者具有市场支配地位，应当依据下列因素：（一）该经营者在相关市场的市场份额，以及相关市场的竞争状况；（二）该经营者控制销售市场或者原材料采购市场的能力；（三）该经营者的财力和技术条件；（四）其他经营者对该经营者在交易上的依赖程度；（五）其他经营者进入相关市场的难易程度；（六）与认定该经营者市场支配地位有关的其他因素。规定了认定经营者具有市场支配地位的必备因素，其列举方面是较为完全的。然而，即使在必要因素列举详细的情况下，仍然很难认定是否具有市场支配地位，因此，第19条规定了推定经营者具有市场支配地位的情形，通过市场占有份额的划定，判断经营者是否具有市场支配地位。这样的推定排除了确有证据证明不具有市场支配地位的经营者。不过，市场支配地位本身是一个复杂的经济学问题，根据不同的相关市场，其取得支配地位的标准也不尽相同，以市场份额这一标准判断经营者的地位具有一定的可行性。但进一步，以什么数值判断市场份额，又是一个值得探讨的问题。
当然，界定市场支配地位需要首先界定相关市场。界定相关市场是一个回溯过去的过程，是在找寻可以维持该行为的最小边界，要判断一个经营者是否实施了垄断行为，其前提就是相关市场的界定，只有对市场边界进行了科学划分，才能有效判断经营者的行为是否对其他经营者构成限制竞争，是否侵害了消费者的相关权益。相关市场是行为人开展竞争的区域或者范围。从世界各国的规定来看，以产品和地域界定相关市场已经成为国际共识。
具体到百度公司，百度网站对其提供的内容服务都强调其是全球“最大”，如“百度百科—全球最大中文百科全书”、“百度知道——全球最大中文互动问答平台”、“百度贴吧——全球最大中文社区”、“百度新闻——全球最大的中文新闻平台”、“百度统计——最大中文网站分析工具”、“百度MP3——全球最大中文音乐搜索平台”，“百度无线——全球最大的中文手机搜索引擎”等。从这些百度公司自己对相关网站的介绍亦可看出，百度公司经营的内容网站几乎均是相关领域内全球最大的中文网站，该等网站的内容数量及其在中文互联网中所占比例可见一斑。由上述可知，百度公司已经成为我国最大的内容网站提供商。在界定百度公司提供的上述服务的市场支配地位时，需要首先准确界定相关市场的范围，才能计算其占有的市场份额。例如，针对百度百科、百度贴吧、百度知道等栏目，不能采用都是“内容服务”的标准，而应根据不同内容的特征、用途、品质，细分相关市场。如百度公司自己所陈述的，可以考虑界定“全球中文百科市场”、“全球中文互动问答平台市场”、“全球中文社区市场”等。根据最高人民法院《关于审理因垄断行为引发的民事纠纷案件应用法律若干问题的规定》第10条规定，经营者对外发布的信息能够证明其在相关市场内具有支配地位的，人民法院可以据此作出认定，但有相反证据足以推翻的除外。当然，需要认定百度公司分别在百度百科、百度贴吧、百度知道等栏目享有市场支配地位，还需要相关证据的支持。

2.拒绝许可损害了市场竞争

由式(22)即可得到优化矢量选择器所需要的参考电压矢量,然后对所处的扇区进行判断,得到3个电压矢量.最后由价值函数对所在扇区的3个电压矢量进行优化评估,得到最接近的电压矢量,即最优电压矢量.例如,当位于第一个60°扇区中时,则选择u0(000/111),u1(100)和u2(110)这3个电压矢量用于价值函数的优化求解.

考察拒绝许可对竞争造成的损害，主要是比较拒绝许可产生的竞争优势与反竞争的效果。如果被拒绝的企业可以在相关市场上寻找到替代性商品，在合理时间内以合理的成本与第三方进行了同样的交易，那么就没有造成限制竞争的效果。如果具有市场支配地位的经营者拒绝将其知识产权许可给其他经营者，包括潜在经营者，会对其他经营者构成市场进入障碍。尤其在互联网领域，拒绝许可会导致其他经营者完全无法与之竞争或完全无法进入该相关市场，无法实现信息的互联互通和开放流动。这不仅对公平的市场竞争秩序造成了破坏，而且剥夺了消费者选择的权利，将会或者可以合理预期会对相关市场的竞争有所削弱或消除，损害了市场竞争。

百度公司提供的内容服务总体上在我国所占的比例可能高达15%甚至以上，而且每一个单一内容服务市场所占的比例则更高。如果百度公司禁止某一个搜索引擎抓取其内容，则该搜索引擎的搜索结果中有相当于中国互联网内容的15%左右成为搜索盲区。可以说，百度公司拒绝360搜索引擎抓取的内容构成了360搜索引擎服务不可缺少的核心措施。这将导致两个严重后果，一是作为搜索服务基本要求的搜索内容的全面性无法实现，用户无法在该搜索引擎中全面搜索信息；二是该搜索引擎无法在搜索引擎服务市场中生存。这无疑是对市场竞争的严重损害。百度公司设置的各个robots.txt明确排除360搜索蜘蛛程序抓取其内容，而这些内容显然在短期内无法寻找到替代性商品。如果认定百度公司具有市场支配地位，百度公司的行为显然是打击竞争对手，消灭竞争。

3.拒绝许可缺乏合理的理由与动机

反垄断法在审查权利人拒绝交易时，一般从合理分析原则出发，要求权利人提出合理的理由，以解释其拒绝许可的动机不存在违法的故意。在衡量拒绝理由的合理性时，既需要分析具有市场支配地位的企业本身的情况，又需要分析被许可方自身的状况。例如，对于前者，企业可以举证说明拒绝交易是为了取得对其投资的适当回报；对于后者，可以考虑被许可方的资信状况不佳、濒临破产等。

从目前的情况来看，百度公司设置的robots. txt未遵循公平、开放和促进信息自由流动的原则, 限制360搜索引擎的蜘蛛程序抓取没有合理理由，更没有行业公认的合理及正当的理由。首先，360搜索蜘蛛程序对百度内容网站的抓取相对于百度网站每天4～5亿用户的访问量来讲数量很小，不会对百度的服务器或带宽造成任何影响，也不会给百度带来任何技术上的问题或障碍；其次，360搜索蜘蛛程序对百度内容网站的抓取完全遵循了百度设置的robots.txt对于其他搜索引擎蜘蛛程序抓取网页内容的指导，360搜索蜘蛛程序并未抓取百度不希望被其他搜索引擎蜘蛛程序抓取的内容；再次，百度公司所控诉的360搜索蜘蛛程序抓取的内容均是百度内容网站在互联网上公开发布的内容，用户可以直接访问该等网页，也可以通过百度搜索访问，还可以通过其他搜索引擎访问，该等网页内容既不涉及任何隐私或保密的信息，也不是收费信息，360搜索蜘蛛程序抓取并在搜索结果中体现该等网页的链接不但对该等百度内容网站毫无影响，相反，还会给百度带来可观的访问量。

（二）爬虫协议对认定歧视交易的影响#5#5 本部分内容得到北京理工大学硕士研究生李婧同学的大力协助。#6 孔祥俊：《反垄断法原理》，中国法制出版社2001年版，第581页。#7 在http∶//www.dianping.com/robots.txt可以访问。

歧视交易，又称歧视待遇，是指行为人没有正当理由而对条件相同的客户（交易对方）提供不同的价格或者其他交易条件，致使有些客户处于不利的竞争地位。#6#5 本部分内容得到北京理工大学硕士研究生李婧同学的大力协助。#6 孔祥俊：《反垄断法原理》，中国法制出版社2001年版，第581页。#7 在http∶//www.dianping.com/robots.txt可以访问。歧视交易是典型的滥用市场支配地位的行为，在许多国家和地区以及国际组织的法律文件都对其进行了规定，如美国《克莱顿法》第2条（a）、德国《反对限制竞争法》第20条、日本《禁止私人垄断及确保公正交易法》第2条第9项。我国《反垄断法》第17条第6项也规定，没有正当理由，对条件相同的交易相对人在交易价格等交易条件上实行差别待遇，是歧视交易行为。

根据robots协议的语法规则，网站可以自行设置以指示搜索引擎的访问路径，正如前面所述，不同的robots.txt被放置在不同层级的网站域名后，并有目的、有针对性地设置了不同限制，网站的设置决不是随性为之，相反，这种设置直接关系到网站的竞争与合作关系。如：在上海汉涛信息咨询有限公司（大众点评网的经营者）诉爱帮聚信（北京）科技有限公司、爱帮聚信（北京）信息技术有限公司（爱帮网的经营者）不正当竞争纠纷中，原告称爱帮网与大众点评网在受众人群、盈利模式、经营范围、客户群落等方面完全重合，被告通过爱帮网长期大量复制大众点评网站内容的“搭便车”行为，获取不当浏览量和竞争优势，构成不正当竞争。在该案中，原告提出大众点评网的robots.txt中，明确禁止同行业搜索并复制其信息，但爱帮网并未遵守该文件。此后，大众点评网的robots.txt 中，出现限制爱帮网蜘蛛程序抓取的指令，完全限制爱帮网搜索引擎访问大众点评网的内容，#7#5 本部分内容得到北京理工大学硕士研究生李婧同学的大力协助。#6 孔祥俊：《反垄断法原理》，中国法制出版社2001年版，第581页。#7 在http∶//www.dianping.com/robots.txt可以访问。从中我们不难看出大众点评网与爱帮网明确且恶化的竞争关系。由此可见，robots.txt已经不仅仅是网站维护其安全与隐私的协议，更是网站之间竞争的工具。

对于搜索引擎企业运用robots.txt排除竞争者访问的行为是否限制了竞争，是否构成滥用市场支配地位，同样需要首先确定相关市场的范围，进而界定该企业在相关市场具有市场支配地位。如果某robots.txt 通过设定访问权限，使未被允许访问的搜索引擎蜘蛛程序无法搜索并获得网站资源，另一些企业则因具有访问权限而获得了竞争优势，而该网站资源在相关市场的地位很大程度上决定了这些企业的竞争地位，网站资源地位越重要，对于竞争的损害越大，一旦这些资源是不可或缺、难以重建的，那么无法取得这些资源的企业的竞争力将明显降低，限制竞争效果显而易见。例如，百度公司经过多年经营，已经建立了自己的更大的、更全面的搜索数据库，假设百度已经具有在相关内容服务市场具有市场支配地位，百度公司的robots.txt文件内容就具有高于一般公司的义务，在没有正当理由的前提下，不得以交易自由为由，允许与其具有直接竞争关系的搜索引擎服务商访问其相关栏目，而禁止360搜索访问。这样的限制有歧视交易之嫌。

三、结 语

互联网的竞争纷纷扰扰，层出不穷。对爬虫协议的理解以及因该协议而引起的纷争，成为当今我国互联网竞争的主角，这不免让人深思。本文的研究就是这方面的一种尝试。

搜索引擎服务商与互联网内容提供商并不具有直接竞争关系。即使经营业务不相同，但其行为违背了《反不正当竞争法》第2条规定的竞争原则，也可以认定具有竞争关系。换言之，如果存在谋取竞争机会、破坏对方竞争优势的行为，就可以认为双方之间存在竞争关系。

爬虫协议作为一种行业惯例和事实标准，其具体内容应该是：（1）设置了robots.txt语法规则；（2）确定蜘蛛程序访问的范围并置放于站点根目录下，作为蜘蛛程序访问该站点的第一文件；（3）确立了公平、开放和促进信息自由流动的原则。robots.txt则是根据爬虫协议确定的原则而设置的具体文件，其设置应遵循该原则。具有市场支配地位的企业不能滥用爬虫协议，从而损害市场竞争。

从不正当竞争角度而言，即使搜索引擎服务与内容服务具有竞争关系，但在搜索引擎忽略内容服务商在其robots.txt设置的禁止抓取条款的行为性质上，如果robots.txt内容严重违反了诚实信用原则和公认的商业道德，限制某一搜索的蜘蛛程序，则违背了公平、合理和开放的原则。如果要求其他搜索引擎服务商遵守这样有失公平合理的文本文件，显然会违背robots协议的精神，同时也与搜索引擎的信息定位服务以及互联网的公平、开放和促进信息自由流动的原则精神格格不入。反之，如果认定搜索引擎忽略不公平的robots.txt中禁止性规定而抓取相应内容构成不正当竞争，显然也违背了爬虫协议确立的公平、开放和促进信息自由流动的原则。使用蜘蛛程序访问一个对公众开放的网页收集信息的行为未必满足侵害动产中损害的条件。

从垄断行为角度而言，具有市场支配地位的网站通过其设置的robots.txt，拒绝某一搜索引擎蜘蛛程序抓取其内容，可构成拒绝许可，最终破坏市场竞争的机制；它对条件相同的蜘蛛程序同意抓取其网站内容而拒绝某一搜索蜘蛛的抓取，实行差别待遇，可构成歧视交易。

This paper starts from the legal nature of robots exclusion protolol, analyses its content and distinguishes it from a robots.txt which is set under the said protocol. From the perspective of antiunfair competition law, a robots.txt with exclusion clauses may go against to the free and open spirit of the said Protocol, and thereby violates the principle of good faith and the generally accepted business ethics. From the perspective of antitrust law, a service provider with a dominant market position may conduct monopolistic behaviors if they use a robots.txt with exclusion clauses to refuse to trade with others or apply discriminatory treatments to a trading party with equal standing without any justifi able reasons.

search engine; robots exclusion protocol; industry practice; competition relationship; monopolistic behavior

杨华权，法学博士，北京理工大学法学院硕士生导师，中关村知识产权法律保护研究院研究员