怎么判断爬虫服务器的IP被网站封了

玩了一段时间爬虫感觉非常好玩,只要程序运行,人家网站的信息自动就会跑到自己的数据库。发明爬虫的人非常牛啊。

最近玩爬虫群里经常有人问自己爬不到信息了,是不是被网站封了IP了。其实这个问题很是简单,直接用浏览器用这个IP访问一下网站就能知道.能打开网页说明没有被封。

当然,如果你的服务器操作系统是windows的直接远程登录桌面,打开浏览器访问一下对方的网站就可以了。但是很多服务器都用的是LINUX服务器,而且多数LINUX服务器也不会安装图型界面。那该怎么测试IP是不是被封了呢?

其实很简单,直接把服务器当成代理,用本地的浏览器通过服务器的IP访问网站就可以了。有人会说在服务器上搭建一个代理服务是不是非常麻烦!!其实吧, 大家常用的putty软件就有代理功能。直接通过putty设置一个通道让浏览器通过通道用服务器访问网站,非常的方便,而且也不用安装任务服务和软件。 那应该怎么设置呢?

设置putty

打开putty,找到左边的SSH,选择Tunnels,然后在Source port上填入你想要的端口号,然后Add一下,下面选择Dynamic即可。现在你机器的127.0.0.1:端口号(例 如:127.0.0.1:9999,当然使用localhost替换127.0.0.1也是可以的)就是代理服务器了。设置好后需要用putty登录到服 务器,并保持登录状态。然后设置一下浏览器的代理服务器就可以了。

设置FireFox

工具–>选项–>高级–>网络,在SOCKS主机填入本机的IP以及刚才设置的代理端口号即可。

这样设置之后,浏览器打开网站显示的就是服务器的IP了,直接用你的浏览器访问网站,如果能不能打开对方的网站并且不用代理就能打开说明你的IP被网站 封了。如果你的服务器在国外也可以用来访问国外的网站不会被屏蔽。如果想访问facebook这样的大网站还需要设置一下dns。使浏览器解析网站的时候 用服务器的dns,在Firefox的地址栏输入 about:config ,找到network.proxy.socks_remote_dns,双击改成true即可。该选项是使用远程代理服务器来解析DNS,避免DNS欺骗。

转载自:http://www.pyspider.cn/jiaocheng/ban-ip-10.html

You may also like...