作为爬虫，是肯定需要代理IP池，通过切换IP访问对方服务器，预防IP被封。那么这IP池怎么来的呢？可以自己建免费爬虫代理ip池，也可以使用代理IP池，使用哪个好呢？下面请跟鲸鱼代理一起去了解一下爬虫代理ip池。

　　1.设计思路
　　爬取免费提供代理IP的网站，提取一定数量的IP，接着验证这些IP的可用性，然后保存这些IP供爬虫时使用。由于免费IP代理网站提供的IP可用性和稳定性都比较低，所以需要程序大量爬取才可以获得一些可用IP。

　　2.开发环境
　　Python3.6.1，IDE是pycharm，系统是win10。主要使用到的库：requests、re。由于验证IP可用性时单进程效率较低，小编最后也使用了multiprocessing进程池Pool来提供程序的效率，开进程池不属于本文重点，所以不做过多介绍。

　　3.设计过程
　　爬取免费代理：这些免费IP有很多时效性很短，你必须快速抓取并且快速使用，不然很容易就失效了。

　　测试IP的可用性：用IP去访问一个验证网址，然后看返回的网络状态码，如果是200，说明访问成功，IP有效。如果访问出错或是返回的状态码不是200，说明IP不可用。这里要设定一个访问超时限制，根据自己需求而定，不然有些代理ip稳定性很差，访问一个网页需要5-10s，这样ip我们留着也没有意义。

　　需要注意，免费的始终是免费的，100个里也就几个ip能用，所以需要多爬一些，然后多验证一些。

　　4.整合代码：整合代码放在记事本保存。
　　建免费爬虫代理ip池这个方法，基本可以实现免费的个人代理ip池。由于这些免费的ip稳定性很差，所以建议在爬虫使用前再验证一遍，很容易实现，可以直接调用自己写过的测试函数。

　　鲸鱼代理拥有千万级独立ip地址，IP可用率95%以上，全国200+城市线路满足您任何大数据服务需求，所有ip均为高质量的动态资源，保证资源的可利用率，并且可以对使用过的ip进行过滤，满足用户的个性化需求。

若需要使用优质动态代理ip，可以使用鲸鱼代理，可用率高，安全稳定，操作简单，也有专业技术人员在线指导，是IP转换软件的不二之选。


鲸鱼代理注册即享0元免费试用，全国238城市,2千万IP库,一键切换，自动秒换IP地址,连接稳定不掉线，鲸鱼代理官网：www.ip12345.net