爬虫协议（Robots）也叫拒绝机器人协议或机器人协议。爬虫技术即事先逐一访问互联网上的每一个网页，将每一个网页上的信息进行分析后，提炼出最能够概括这个网页上刊载信息的关键字，将每一个网页的网络地址和关键字一并存储在搜索引擎服务器上。自360推出搜索引擎服务以来，360与百度就陷入爬虫协议纠纷。2012年，百度与360签署了《互联网搜索引擎服务自律公约》。

　　法院在判决书中写道：规则的缺失会让互联网行业陷入“丛林法则”的误区，但同时，市场竞争需要给每一个竞争者公平的竞争环境，即使是后进入市场的竞争者，也应该有公平的竞争机会，以免陷入“丛林法则”中强者可以任意欺凌弱者的误区。判决书中还提到：360已经多次向百度表示要求修改Robots协议，该主张是清晰明确的，而百度未能明确提出拒绝360的合理理由，故对《自律公约》签订之后，百度主张360构成不正当竞争的主张本院不予支持。

　　在这个案件中，法院捍卫了开放、平等的互联网精神，为互联网行业的自由竞争和健康发展开辟了道路。法院的判决，表明百度这种单方面利用歧视性Robots协议打击和限制竞争对手的行为不被法庭所支持。这样的判决符合人类信息共享和互联网自由开放、畅通无阻的共享精神。

　　对于人类的知识和信息储存、传播而言，搜索引擎是一项伟大的发明，它提供了海量、便捷的查询平台。比起内容提供者，搜索引擎最大的优势在于技术优势和平台优势，既方便信息的永久保存，也方便读者的检索查询。因此，搜索引擎最大的优势应该就是技术优势，最大的力量也应该投入到技术进步当中，使信息的容量更大、更安全、更自由开放，内容检索更便捷、提供给读者的平台和视野更全面开阔。这样才最有利于知识的传承和创新。大量的内容创造者、提供者不断生生死死，伟大的搜索引擎则有可能像大学和图书馆一样，保护着人类知识与信息文明的薪火相传。

　　如果搜索引擎的先行一步者用不正当竞争的限制性条款，限制后来者抓取他们的非独家信息，则不仅逼迫后起的搜索引擎把主要力量从技术创新转向内容网站资源的争夺，而且势必导致时间越久远的内容和信息丧失得越厉害，甚至永不可再得。这样，不仅中国的互联网将成为一个个彼此割裂的知识和信息孤岛，而且一些知识的断裂将有可能永难再续。与此同时，限制后来者、抵制竞争，形成百度独家的行业垄断，即使百度能够成为千年万年老字号，也不利于技术进步，不利于更安全地保存信息和更方便地进行用户检索。甚至，通过行业垄断地位和搜索排名进行非正当市场行为，妨碍正当的信息竞争的事件会一再发生。

消息来源：新华网