关于最近测试反爬虫的说明

最近网站被大量爬虫抓取,造成了网站性能严重下降。

虽然多次升级服务器配置,但是依然无法支撑大量爬虫的抓取,所以必须要对爬虫进行反击。

反爬虫功能已初具雏形,但是不清楚效果如何。

'杀死爬虫'

如果你是正常访客,无法访问网站,看到这个页面。

如果不知道自己的IP地址,可以到这里查询查询IP,“您的IP是:”后面即为您自己的IP地址。

本来准备使用验证码来反制爬虫,但是现在看来没有必要了,根据后台观测数据,我觉得没有用户能在1秒钟能访问5页。

如果你不断刷新页面,也会被误判为爬虫,以后数据多了可能会采用机器学习来解决这个问题。

程序还有很多问题,但是爬虫的问题已经让我夜不能寐,必须要解决。所以也会对正常用户造成不便,对此我深表歉意

我也在加紧时间不断完善反爬虫程序,此文也是对爬虫的一个宣战。

返回顶部