第二,反爬行战略很弱
有些网站没有反爬虫类的战略,即使不代理IP也能正常做爬虫类的工作,但是为了不让网站服务器崩溃,建议不要太随便。有些网站反爬虫类战略弱,即使不代理IP也能正常做爬虫类的工作。
第三,访问频率低
反爬虫战略最常见的方法是判断单个IP的访问频率,因为普通用户访问网页的频率不会很快。为了避免被服务器发现,可以选择降低访问频率的方法,但爬虫类的访问频率、访问逻辑与普通用户相似,爬虫类就没有意义了。
有些网站没有反爬虫类的战略,即使不代理IP也能正常做爬虫类的工作,但是为了不让网站服务器崩溃,建议不要太随便。有些网站反爬虫类战略弱,即使不代理IP也能正常做爬虫类的工作。
第三,访问频率低
反爬虫战略最常见的方法是判断单个IP的访问频率,因为普通用户访问网页的频率不会很快。为了避免被服务器发现,可以选择降低访问频率的方法,但爬虫类的访问频率、访问逻辑与普通用户相似,爬虫类就没有意义了。