在本篇内容里小编给大家分享了关于Python数据抓取爬虫代理防封IP方法讲解,需要的朋友们可以跟着学习下。

爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息,一般来说,Python爬虫程序很多时候都要使用(飞猪IP)代理的IP地址来爬取程序,但是默认的urlopen是无法使用代理的IP的,我就来分享一下Python爬虫怎样使用代理IP的。(推荐飞猪代理IP注册可免费使用,浏览器搜索可找到)

1、划重点,小编我用的是Python3哦,所以要导入urllib的request,然后我们调用ProxyHandler,它可以接收代理IP的参数。代理可以根据自己需要选择,当然免费的也是有的,但是可用率可想而知的。(飞猪IP)

2、接着把IP地址以字典的形式放入其中,这个IP地址是我乱写的,只是用来举例。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号(9000),具体看你的IP地址是什么类型的,不同IP端口号可能不同根据你在飞猪提取的端口为准。

3、接着再用build_opener()来构建一个opener对象。

4、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。

5、当然了,如果我们使用install_opener(),就可以把之前自定义的opener设置成全局的。

6、设置成全局之后,如果我们再使用urlopen来发送请求,那么发送请求使用的IP地址就是代理IP,而不是本机的IP地址了。

7、最后再来说说使用代理遇到的错误,提示目标计算机积极拒绝,这就说明可能是代理IP无效,或者端口号错误,这就需要使用有效的IP才行哦。(这边现在是乱填写的IP地址)可选择飞猪的代理IP。

总结:以上就是本次关于Python数据抓取爬虫代理防封IP方法,感谢大家的阅读和对爱安网的支持。

最新资讯
宇航员心脏细胞在太空发生改变 回地面10天恢复正常

宇航员心脏细胞在太空

一想到太空飞行,会让人们憧憬美妙的太空旅行,出现心跳加
为什么大多数人是右撇子?左撇子的成因是什么?

为什么大多数人是右撇

当你还是个小孩子的时候,第一次拿起蜡笔,你可能就会感觉
消息称阿里巴巴已获准在香港发行股票 11月13日路演

消息称阿里巴巴已获准

据外媒报道,阿里巴巴已获准在香港发行股票,将于11月13日
苹果:所有《财富》500强企业都在使用我们的产品

苹果:所有《财富》500

在2019年JNUC大会上,苹果产品营销部门的杰里米·布彻上
马斯克:特斯拉将在柏林建设海外第二家“超级工厂”

马斯克:特斯拉将在柏林

特斯拉CEO埃隆·马斯克(Elon Musk)周二宣布计划在德国柏
传库克下周将陪同特朗普参观苹果得州工厂

传库克下周将陪同特朗

据外媒报道,两名知情人士透露,美国总统唐纳德·特朗普和
最新文章
python实现在cmd窗口显示彩色文字

python实现在cmd窗口

今天小编就为大家分享一篇python实现在cmd窗口显示彩
解决python xx.py文件点击完之后一闪而过的问题

解决python xx.py文件

今天小编就为大家分享一篇解决python xx.py文件点击完
pandas DataFrame 交集并集补集的实现

pandas DataFrame 交

这篇文章主要介绍了pandas DataFrame 交集并集补集的
pandas计数 value_counts()的使用

pandas计数 value_cou

这篇文章主要介绍了pandas计数 value_counts()的使用,
详解python深浅拷贝区别

详解python深浅拷贝区

在本篇文章里小编给大家整理了关于python深浅拷贝区别
详解10个可以快速用Python进行数据分析的小技巧

详解10个可以快速用Py

这篇文章主要介绍了详解10个可以快速用Python进行数据