|
如今在互联网领域，尽管网站可依据Robots协议自主选择限制抓取的搜索引擎已成为行业常态，但值得注意的是，Robots协议是否具有法律约束力一直备受争议。
在近日召开的“Robots协议与竞争规范研讨会”上，多位与会专家认为，虽然Robots协议在性质上属于商业惯例或技术规范，但网站设置Robots协议即意思表示，其已经表明在网站与搜索引擎之间建立了一个提供网络服务的法律关系，搜索引擎访问网站即视为接受Robots协议，从而根据契约产生法律约束力。
robots协议也称为爬虫协议或机器人协议，其全称是“网络爬虫排除标准”。作为国际互联网界通行的道德规范，网站通过Robots协议告诉搜索引擎，哪些页面可以抓取，哪些页面不能抓取。其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。
自上世纪90年代荷兰籍网络工程师Martijn Koster首次提出这一概念以来，Robots协议经世界互联网技术邮件组发布以后,几乎得到了所有搜索引擎的认可，并在事实上已经成为了业内一种普遍遵守的规范。
据了解，目前，国际排名前1000名左右的网站中，已经有上百家网站设置Robots白名单，声明仅允许部分搜索引擎抓取；在流量排名世界前1000名左右的网站中，有108家网站采用仅禁止一家搜索引擎抓取的Robots黑名单。
有统计显示，我国流量排名前100的网站基本上均设置了Robots协议。
2012年，我国12家主要的搜索引擎服务企业在北京签署了《互联网搜索引擎服务自律公约》。公约规定，对于本公约公布前违反robots协议抓取的内容，在收到权利人符合法律规定的通知后，及时删除、断开侵权链接。
北京大学法学院教授张平认为，网站对自身享有合法权益的产品，通过设置Robots协议选择交易对象，是网站所有者的自由。虽然只是行业惯例，但既然称作协议，就说明这是一种大家共认的规则，这在反不正当竞争法中被列为应该共同遵守的商业道德，是具有法律约束力的。
“这就像一个人在家门口挂出‘不得入内’的标牌，如果未经主人的允许，外人就不能擅自闯入。Robots协议就是用计算机语言写成的‘不得入内’的警示牌，告知其他企业不要随意抓取信息。”张平说。
对于张平的这个比喻，中国法学会知识产权研究会秘书长李明德表示认同，“不得入内就是意思表示，所有人都不得入内，入内就意味着违反了契约。”
李明德指出，不管是白名单还是黑名单，Robots协议就是合同，就是契约，是网站的意思表示，违反robots协议就构成了对契约的违反。“从契约的角度解释，不让你抓取，你抓取了，肯定违约。”
中南财经政法大学原校长、教育部社会科学委员会委员吴汉东表示，中国互联网面临“同质化发展”与“无序化竞争”两大问题，因此规则的建立和遵守显得尤为重要。而规则的缺失则会让互联网行业陷入“丛林法则”的误区，Robots协议作为国际上通行的行业惯例，理应被遵守。
吴汉东指出，Robots协议实际上是经营共同体共同遵守的行业规则和商业惯例。在英美法系中，对合同是作出宽泛的解释的，合同不仅是双方当事人签订的协议，还涉及到多方当事人签订的协议。“还有一种协议，叫作集体协议，无论签约主体是单数还是多数，协议都是具有法律效力的。”他说。
武汉大学经济法研究所副所长宁立志也认为，从法律约束力而言，网站设置Robots协议系意思表示，在网站与搜索引擎之间即建立了一个提供网络服务的法律关系，搜索引擎访问网站即视为接受Robots协议，从而根据契约产生法律约束力。
|
部门规章