在本篇内容里小编给大家分享了关于Python数据抓取爬虫代理防封IP方法讲解,需要的朋友们可以跟着学习下。

爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息,一般来说,Python爬虫程序很多时候都要使用(飞猪IP)代理的IP地址来爬取程序,但是默认的urlopen是无法使用代理的IP的,我就来分享一下Python爬虫怎样使用代理IP的。(推荐飞猪代理IP注册可免费使用,浏览器搜索可找到)

1、划重点,小编我用的是Python3哦,所以要导入urllib的request,然后我们调用ProxyHandler,它可以接收代理IP的参数。代理可以根据自己需要选择,当然免费的也是有的,但是可用率可想而知的。(飞猪IP)

2、接着把IP地址以字典的形式放入其中,这个IP地址是我乱写的,只是用来举例。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号(9000),具体看你的IP地址是什么类型的,不同IP端口号可能不同根据你在飞猪提取的端口为准。

3、接着再用build_opener()来构建一个opener对象。

4、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。

5、当然了,如果我们使用install_opener(),就可以把之前自定义的opener设置成全局的。

6、设置成全局之后,如果我们再使用urlopen来发送请求,那么发送请求使用的IP地址就是代理IP,而不是本机的IP地址了。

7、最后再来说说使用代理遇到的错误,提示目标计算机积极拒绝,这就说明可能是代理IP无效,或者端口号错误,这就需要使用有效的IP才行哦。(这边现在是乱填写的IP地址)可选择飞猪的代理IP。

总结:以上就是本次关于Python数据抓取爬虫代理防封IP方法,感谢大家的阅读和对爱安网的支持。

最新资讯
联通5G最低要190元太贵用不起? 专家:用不起的就别用

联通5G最低要190元太

之前运营商资费越来越低,是三大运营商相互恶性竞争造成
百度高管解读财报:公司已开始从小程序业务中获益

百度高管解读财报:公司

百度高级副总裁沈抖:“我们注意到使用百度小程序的公司
谷歌停止向运营商提供部分安卓手机数据

谷歌停止向运营商提供

Alphabet旗下的谷歌已停止向全球各地无线运营商提供一
从低调潜伏到百亿级市场,共享雨伞还有没有戏?

从低调潜伏到百亿级市

在共享经济领域,我们会发现,共享单车凉了之后,共享充电宝
5G时代 软件定义光网络不断进化

5G时代 软件定义光网

软件定义光网络(SDON)将软件定义网络(SDN)技术和传送网络
中国移动7月净增4G用户739万 净增有线宽带用户314万

中国移动7月净增4G用

中国移动今日公布2019年7月份运营数据。当月,中国移动
最新文章
python+pyqt5实现图片批量缩放工具

python+pyqt5实现图片

这篇文章主要为大家详细介绍了Python+pyqt5实现图片批
python+pyqt5编写md5生成器

python+pyqt5编写md5

这篇文章主要为大家详细介绍了python+pyqt5编写md5生
Python动态赋值的陷阱知识点总结

Python动态赋值的陷阱

在本文中我们给大家整理了关于Python动态赋值的陷阱的
Python中super函数用法实例分析

Python中super函数用

这篇文章主要介绍了Python中super函数用法,结合实例形
Python操作MySQL数据库的两种方式实例分析【pymysql和pandas】

Python操作MySQL数据

这篇文章主要介绍了Python操作MySQL数据库的两种方式,
matplotlib实现区域颜色填充

matplotlib实现区域颜

这篇文章主要为大家详细介绍了matplotlib实现区域颜色