# 导读
在爬虫技术中，当需要在某一网站中爬取大量的数据时，如果至始至终都是使用同一个IP去爬取资源，久了之后就会发现爬取不了了。这是因为服务器网它“发现”客户端在“作弊”（爬虫能1s请求成百上千个页面，人只有10根手指头，能搞过来吗？服务器检测到该异常了，于是就把它卡擦掉了），于是网站服务器就屏蔽客户端请求了。那么，怎样解决这个问题呢？
解决思路非常简单，来一招“瞒天过海，暗渡陈仓”即可解决！既然服务器检测到我们的请求都来自同一个IP地址，那么我给它伪装一下，常常换IP去请求不就可以了吗，这样服务器就无法辨认了。
下面就来看看如何设置代理服务器，让代理服务器去请求需要的资源。
# 代理服务器如何获取？
直接百度“免费代理服务器”即可找到各种各样的资源。有付费的，也有免费的，这里筛选一些免费的，示例如下图：
一般分“国内代理服务器”和“国外代理服务器”，这需要根据目标主机所在位置进行选择，一般选择“国内”的代理服务器。
在选择代理服务器时，一般选择“验证时间”比较短的，这样的服务器请求的成功率会较大，反之可能失败！
在使用代理服务器时，主要用到的就是“代理IP地址”和“端口”这两项，其完整格式为：“IP地址：端口号”，例：121.239.51.158:3128。选好代理服务器后，接下来就是调用代码了。
# 调用代码
通过调用代理服务器完成爬虫对网站内容的数据爬取，代码如下：
```python
#!/usr/bin/python3
#-*- coding: utf-8 -*-
import urllib.request
proxy = urllib.request.ProxyHandler({'http':'140.143.156.166:1080'}) # 设置代理服务器
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler) # 创建 build_opener 对象
urllib.request.install_opener(opener)
html = urllib.request.urlopen("http://www.baidu.com")
print(html.getcode()) # 获取请求状态码
data = html.read().decode('utf-8') # 读取数据并解码
print(len(data))
```
实例输出：
200
109819
## 代码分析
```python
proxy = urllib.request.ProxyHandler({'http':'140.143.156.166:1080'})
```
使用 ProxyHandler() 方法设置代理服务器信息。参数是一个字典，其“键”为协议类型，“值”为代理服务器地址。可以定义"http"协议 或 "https" 等协议！（注意：这需要根据代理服务器提供的代理服务进行设置）
**特别声明**：其“键”值切勿写成“**http://**”、"**https://**"等格式，因为这样会产生完全不一样的效果。使用此格式时仍然是使用计算机当前的公网IP进行资源获取，而不是使用代理服务器地址，所以如果使用了该格式，后面填写的代理服务地址，不管格式是对是错，代理服务器是否可用，这都与本程序无关。
```python
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
```
使用 build_opener() 方法创建一个自定义 opener 对象。参数1：为代理服务器信息 ；参数2：是 urllib.request.HTTPHandler 类。
```python
urllib.request.install_opener(opener)
```
使用 install_opener() 方法创建一个全局对象，主要为接下来甚至后面所有的“连接请求”操作提供服务。
```python
html = urllib.request.urlopen("http://www.baidu.com")
```
调用 urlopen() 方法请求相关资源，注：这里会使用上面 install_opener() 方法创建的 opener 对象进行连接请求，即使用定义好的代理服务器。成功请求到资源后返回给 html 变量。
```python
html.getcode()
```
获取网页请求的状态码。返回 200 表示请求成功，返回其它表示请求异常！具体可查看页面请求状态码相关知识。
至此，结合“实例输出”可知页面已经请求成功，且获得的页面资源总长度为 109819 个字符。
# **封装代码**
下面对以上 **代理服务设置** 的代码就行一个函数封装，具体如下：
```python
#!/usr/bin/python3
#-*- coding: utf-8 -*-
import urllib.request
def use_proxy(proxy_addr, url):
"""
功能：设置代理服务器，利用代理服务器请求资源
:param proxy_addr: 代理服务信息 格式：【IP地址：端口】
:param url: 请求页面url地址
:return: 页面 html 代码
"""
proxy = urllib.request.ProxyHandler({'http':proxy_addr})
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
data = urllib.request.urlopen(url)
print(data.getcode())
html = data.read()
return html
proxy_addr = "140.143.156.166:1080" # 代理服务器地址
url = "http://www.baidu.com"
data = use_proxy(proxy_addr, url) # 调用函数
print(len(data))
# 写入文件中
fp = open("./aa.html", "wb")
fp.write(data)
fp.close()
```
提示：在 **调用 or 测试** 本程序时，应先测试代理服务是否可用，具体可以多获取几个代理服务器地址进行测试。
