这篇文章主要介绍了Python3爬虫学习之应对网站反爬虫机制的方法,结合实例形式分析了Python3模拟浏览器运行来应对反爬虫机制的相关操作,需要的朋友可以参考下

本文实例讲述了Python3爬虫学习之应对网站反爬虫机制的方法。分享给大家供大家参考,具体如下:

如何应对网站的反爬虫机制

在访问某些网站的时候,网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫,用来作为反爬取的一种策略。

例如打开搜狐首页,先来看一下Chrome的头信息(F12打开开发者模式)如下:

如图,访问头信息中显示了浏览器以及系统的信息(headers所含信息众多,具体可自行查询)

Python中urllib中的request模块提供了模拟浏览器访问的功能,代码如下:

from urllib import request
url = 'http://www.baidu.com'
# page = request.Request(url)
# page.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
print(page_info)

可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问,

urllib.request.Request()
urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

其中headers是一个字典,通过这种方式可以将爬虫模拟成浏览器对网站进行访问。
https://docs.python.org/3/library/urllib.request.html?highlight=request#module-urllib.request

更多关于Python相关内容可查看本站专题:《Python Socket编程总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用总结》、《Python字符串操作汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作汇总》

希望本文所述对大家Python程序设计有所帮助。

最新资讯
快手最新孖展额4433亿港元超购421倍 市场预测冻资可冲万亿

快手最新孖展额4433亿

截至周四下午5时,据新浪港股不完全统计,快手公开发售部
FF将曲线上市:估值34亿美元 贾跃亭烈火重生回国有望?

FF将曲线上市:估值34亿

Faraday Future今日宣布,将通过与Property Solutions A
投行KeyBanc:推特营收有望超预期,上调其评级至“增持”

投行KeyBanc:推特营收

投行KeyBanc Capital Markets的分析师将推特(TWTR.US)股
贾跃亭为什么还想回国?

贾跃亭为什么还想回国

贾跃亭回国的迹象越来越明显了,FF的利好消息频频传出,还
法拉第未来将通过并购在纳斯达克上市 筹资10亿美元

法拉第未来将通过并购

据报道,法拉第未来将通过并购在纳斯达克上市。
高通输掉反垄断官司 需向欧盟提供更多商业行为信息

高通输掉反垄断官司

高通公司今日在一场旷日持久的反垄断案件中输掉了一起
最新文章
在pycharm中为项目导入anacodna环境的操作方法

在pycharm中为项目导

这篇文章主要介绍了在pycharm中为项目导入anacodna环
tensorflow的ckpt及pb模型持久化方式及转化详解

tensorflow的ckpt及pb

今天小编就为大家分享一篇tensorflow的ckpt及pb模型持
PyTorch笔记之scatter()函数的使用

PyTorch笔记之scatter

这篇文章主要介绍了PyTorch笔记之scatter()函数的使用
python3实现网页版raspberry pi(树莓派)小车控制

python3实现网页版ras

这篇文章主要为大家详细介绍了python3实现网页版raspb
完美解决pycharm导入自己写的py文件爆红问题

完美解决pycharm导入

今天小编就为大家分享一篇完美解决pycharm导入自己写
pycharm内无法import已安装的模块问题解决

pycharm内无法import

今天小编就为大家分享一篇pycharm内无法import已安装