国内被爬虫侵扰最多的网站是哪一个

我们以在国内最主要的百度爬虫为例。你有一个新网站，你希望他来抓取你，需要先到百度站长平台提交你的网站。这就要满足一些要求，比如有域名，域名要完成备案。

当爬虫爬取网站时，如果请求过于频繁或者请求数据量过大，就有可能会导致网站崩溃。这种情况通常称为“DDoS攻击”，即分布式拒绝服务攻击。

Robots 协议就是告诉爬虫，哪些信息是可以爬取，哪些信息不能被爬取，严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。