今天小编就为大家分享一篇Python3爬虫之urllib携带cookie爬取网页的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

import urllib.request
import urllib.parse
 
url = 'https://weibo.cn/5273088553/info'
#正常的方式进行访问
# headers = {
#  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
# }
# 携带cookie进行访问
headers = {
'GET https':'//weibo.cn/5273088553/info HTTP/1.1',
'Host':' weibo.cn',
'Connection':' keep-alive',
'Upgrade-Insecure-Requests':' 1',
'User-Agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Accept':' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
# 'Referer: https':'//weibo.cn/',
'Accept-Language':' zh-CN,zh;q=0.9',
'Cookie':' _T_WM=c1913301844388de10cba9d0bb7bbf1e; SUB=_2A253Wy_dDeRhGeNM7FER-CbJzj-IHXVUp7GVrDV6PUJbkdANLXPdkW1NSesPJZ6v1GA5MyW2HEUb9ytQW3NYy19U; SUHB=0bt8SpepeGz439; SCF=Aua-HpSw5-z78-02NmUv8CTwXZCMN4XJ91qYSHkDXH4W9W0fCBpEI6Hy5E6vObeDqTXtfqobcD2D32r0O_5jSRk.; SSOLoginState=1516199821',
}
request = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(request)
#输出所有
# print(response.read().decode('gbk'))
#将内容写入文件中
with open('weibo.html','wb') as fp:
 fp.write(response.read())

以上这篇Python3爬虫之urllib携带cookie爬取网页的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
更新AirPods耳机?知情人士:苹果正在开发两款新耳机

更新AirPods耳机?知情

据悉,苹果公司计划明年更新AirPods耳机。知情人士说,苹
比尔·盖茨:应战新冠和未来疫情的三个关键研发领域

比尔·盖茨:应战新冠和

新冠病毒成为了人类一个“有益的对手”,它给了我们很多
蚂蚁集团协商确定本次发行价格为68.80元/股

蚂蚁集团协商确定本次

蚂蚁集团协商确定本次发行价格为68.80元/股。蚂蚁集团
阿里健康:预期截至9月30日止六个月将实现期内利润不少于2亿元

阿里健康:预期截至9月3

阿里健康在港交所公告,预期截至2020年9月30日止六个月
蚂蚁集团:发行价格每股H股80.00港元

蚂蚁集团:发行价格每股

蚂蚁集团表示,蚂蚁集团发行价格每股H股80.00港元。
蚂蚁集团:预期将于10月27日开始香港公开发售

蚂蚁集团:预期将于10月

蚂蚁集团表示,预期将于2020年10月27日(星期二) 上午九时
最新文章
在pycharm中为项目导入anacodna环境的操作方法

在pycharm中为项目导

这篇文章主要介绍了在pycharm中为项目导入anacodna环
tensorflow的ckpt及pb模型持久化方式及转化详解

tensorflow的ckpt及pb

今天小编就为大家分享一篇tensorflow的ckpt及pb模型持
PyTorch笔记之scatter()函数的使用

PyTorch笔记之scatter

这篇文章主要介绍了PyTorch笔记之scatter()函数的使用
python3实现网页版raspberry pi(树莓派)小车控制

python3实现网页版ras

这篇文章主要为大家详细介绍了python3实现网页版raspb
完美解决pycharm导入自己写的py文件爆红问题

完美解决pycharm导入

今天小编就为大家分享一篇完美解决pycharm导入自己写
pycharm内无法import已安装的模块问题解决

pycharm内无法import

今天小编就为大家分享一篇pycharm内无法import已安装