优草派  >   Python

Python爬虫为什么要设置代理ip?Python爬虫设置每个代理ip的方法

翟嘉慧            来源:优草派

在前面的学习中,我们知道可以使用Python爬虫去做很多的事情,比如说网站爬取,当我们在网站中去获取数据的时候,如果频繁的对一个网站进行访问,就会造成ip被封的情况,所以我们在访问的时候,要提前设置一个代理ip来进行操作,使用它来模拟一个浏览器,下面一起来学习一下python爬虫设置代理ip的方法吧。

Python爬虫为什么要设置代理ip? Python爬虫设置每个代理ip的方法

1、添加代码,间隔设置代理ip

我们在使用Python爬虫的时候,提供了专门的库使用,比方说urlib2库,它可以使用一个环境变量http_proxy来设置 HTTP Proxy,当我们频繁的去访问一个网站的时候,被检测处理访问次数过多,我们的ip就会受到限制,这个时候就可以利用代理服务器来进行操作了,让我们的ip每隔一段时间就更新一次,,设置方法如下:

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

2、Timeout设置

当我们的网站出现了一些无法响应或者是响应过慢的情况,我们可以进行timeout的设置,表示的是设置一个等待超时的时间,目的是为了解决一些网响应过慢而造成的影响,设置方法如下:

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)将超时时间设置为10秒。

以上就是有关Python爬虫为什么要设置代理ip?Python爬虫设置每个代理ip的方法的全部内容讲解了,希望可以帮助到大家。

【原创声明】凡注明“来源:优草派”的文章,系本站原创,任何单位或个人未经本站书面授权不得转载、链接、转贴或以其他方式复制发表。否则,本站将依法追究其法律责任。
TOP 10
  • 周排行
  • 月排行