今天小编就为大家分享一篇Python3爬虫之urllib携带cookie爬取网页的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

import urllib.request
import urllib.parse
 
url = 'https://weibo.cn/5273088553/info'
#正常的方式进行访问
# headers = {
#  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
# }
# 携带cookie进行访问
headers = {
'GET https':'//weibo.cn/5273088553/info HTTP/1.1',
'Host':' weibo.cn',
'Connection':' keep-alive',
'Upgrade-Insecure-Requests':' 1',
'User-Agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Accept':' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
# 'Referer: https':'//weibo.cn/',
'Accept-Language':' zh-CN,zh;q=0.9',
'Cookie':' _T_WM=c1913301844388de10cba9d0bb7bbf1e; SUB=_2A253Wy_dDeRhGeNM7FER-CbJzj-IHXVUp7GVrDV6PUJbkdANLXPdkW1NSesPJZ6v1GA5MyW2HEUb9ytQW3NYy19U; SUHB=0bt8SpepeGz439; SCF=Aua-HpSw5-z78-02NmUv8CTwXZCMN4XJ91qYSHkDXH4W9W0fCBpEI6Hy5E6vObeDqTXtfqobcD2D32r0O_5jSRk.; SSOLoginState=1516199821',
}
request = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(request)
#输出所有
# print(response.read().decode('gbk'))
#将内容写入文件中
with open('weibo.html','wb') as fp:
 fp.write(response.read())

以上这篇Python3爬虫之urllib携带cookie爬取网页的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
至暗时刻来临,“云用户”能否拯救零售业?

至暗时刻来临,“云用户

“云用户”能拯救零售业吗?如何才能找到他们?
华为发布5G室内系列新品 助运营商室内覆盖5G网络

华为发布5G室内系列新

华为今日召开5G室内新产品与解决方案线上发布会,推出5G
字节跳动旗下公司全面屏电子设备专利已成功授权

字节跳动旗下公司全面

天眼查专利数据显示,字节跳动旗下北京字节跳动网络技术
“青年大院”被微信阶梯处罚 咪蒙声明与其没有关系

“青年大院”被微信阶

公众号“青年大院”被微信进行“阶梯处罚”,处罚原因或
百度撤销对中智行CEO王劲商业秘密侵权案的诉讼

百度撤销对中智行CEO

无人驾驶公司发布声明称,根据北京知识产权法(tian)院(ping)下发的(20
百度高管解读四季度财报:疫情凸显百度的价值定位

百度高管解读四季度财

百度第四季度总营收为人民币289亿元(约合41.5亿美元),与
最新文章
在Python中使用MongoEngine操作数据库教程实例

在Python中使用MongoE

这篇文章主要介绍了在Python中使用MongoEngine操作数
win10系统Anaconda和Pycharm的Tensorflow2.0之CPU和GPU版本安装教程

win10系统Anaconda和P

这篇文章主要介绍了win10系统 Anaconda 和 Pycharm 的
使用python和pygame制作挡板弹球游戏

使用python和pygame制

这篇文章主要介绍了使用python和pygame制作挡板弹球游
使用pygame写一个古诗词填空通关游戏

使用pygame写一个古诗

这篇文章主要介绍了使用pygame写一个古诗词填空通关游
Anaconda 查看、创建、管理和使用python环境的方法

Anaconda 查看、创建

这篇文章主要介绍了Anaconda 查看、创建、管理和使用p
python 读取数据库并绘图的实例

python 读取数据库并

今天小编就为大家分享一篇python 读取数据库并绘图的