在本篇内容里小编给大家分享了关于Python数据抓取爬虫代理防封IP方法讲解,需要的朋友们可以跟着学习下。

爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息,一般来说,Python爬虫程序很多时候都要使用(飞猪IP)代理的IP地址来爬取程序,但是默认的urlopen是无法使用代理的IP的,我就来分享一下Python爬虫怎样使用代理IP的。(推荐飞猪代理IP注册可免费使用,浏览器搜索可找到)

1、划重点,小编我用的是Python3哦,所以要导入urllib的request,然后我们调用ProxyHandler,它可以接收代理IP的参数。代理可以根据自己需要选择,当然免费的也是有的,但是可用率可想而知的。(飞猪IP)

2、接着把IP地址以字典的形式放入其中,这个IP地址是我乱写的,只是用来举例。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号(9000),具体看你的IP地址是什么类型的,不同IP端口号可能不同根据你在飞猪提取的端口为准。

3、接着再用build_opener()来构建一个opener对象。

4、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。

5、当然了,如果我们使用install_opener(),就可以把之前自定义的opener设置成全局的。

6、设置成全局之后,如果我们再使用urlopen来发送请求,那么发送请求使用的IP地址就是代理IP,而不是本机的IP地址了。

7、最后再来说说使用代理遇到的错误,提示目标计算机积极拒绝,这就说明可能是代理IP无效,或者端口号错误,这就需要使用有效的IP才行哦。(这边现在是乱填写的IP地址)可选择飞猪的代理IP。

总结:以上就是本次关于Python数据抓取爬虫代理防封IP方法,感谢大家的阅读和对爱安网的支持。

最新资讯
周五收盘瑞幸咖啡再跌近16%

周五收盘瑞幸咖啡再跌

周五收盘,瑞幸股价再次大跌15.94%,报5.38美元。中国证监
贝索斯捐1亿美元 用于为受疫情影响的家庭提供食物

贝索斯捐1亿美元 用于

亚马逊总裁捐1亿美元,用于为受疫情影响的家庭提供食物]
B站4月4日暂停所有直播内容 当日更新番剧延期至5日

B站4月4日暂停所有直

哔哩哔哩发布暂停直播和番剧更新的公告,以悼念抗击新冠
瑞幸咖啡股价大幅震荡是否应该被退市?专家分析来了

瑞幸咖啡股价大幅震荡

华尔街上不少投资者质疑瑞幸咖啡是否应该被退市。有分
瑞幸暴雷背后:三只基金踩雷,中金和香椽遭打脸

瑞幸暴雷背后:三只基金

瑞幸咖啡暴雷引发的连锁反应,根据2019年年报显示共牵连
字节跳动:与欢喜传媒联合打造首映App的消息不属实

字节跳动:与欢喜传媒联

今日有媒体报道称字节跳动将与欢喜传媒联合推出的首映
最新文章
在Python中使用MongoEngine操作数据库教程实例

在Python中使用MongoE

这篇文章主要介绍了在Python中使用MongoEngine操作数
win10系统Anaconda和Pycharm的Tensorflow2.0之CPU和GPU版本安装教程

win10系统Anaconda和P

这篇文章主要介绍了win10系统 Anaconda 和 Pycharm 的
使用python和pygame制作挡板弹球游戏

使用python和pygame制

这篇文章主要介绍了使用python和pygame制作挡板弹球游
使用pygame写一个古诗词填空通关游戏

使用pygame写一个古诗

这篇文章主要介绍了使用pygame写一个古诗词填空通关游
Anaconda 查看、创建、管理和使用python环境的方法

Anaconda 查看、创建

这篇文章主要介绍了Anaconda 查看、创建、管理和使用p
python 读取数据库并绘图的实例

python 读取数据库并

今天小编就为大家分享一篇python 读取数据库并绘图的