今天小编就为大家分享一篇Linux部署python爬虫脚本,并设置定时任务的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

去年因项目需要,用python写了个爬虫。因爬到的数据需要存到生产环境的PG数据库。所以需要将脚本部署到CentOS服务器,并设置定时任务,自动启动脚本。

实施步骤如下:

1.安装pip(操作系统自带了python2.6可以直接用,但是没有pip)

# 下载pip安装包
wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate
# 解压安装包并安装
tar -xzvf pip-1.5.4.tar.gz
cd pip-1.5.4
python setup.py install

2.用pip安装第三方库

pip install PyGreSQL==5.0.3
pip install requests==2.18.3

3.设置定时任务

# 开启定时任务服务
service crond start
# 查看定时任务服务状态
service crond status
# 打开定时任务编辑窗口
crontab -e 
# 添加两条定时任务,即每天0点0分和12点20分各执行一次,并写入日志
0 0 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

20 12 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

定时任务语法如下:
# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * user-name command to be executed

以上这篇Linux部署python爬虫脚本,并设置定时任务的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
176港元/股 阿里巴巴拟募资880亿港元

176港元/股 阿里巴巴

根据集团向国际承销商授出的超额配股权,最多还可额外发
三季报喜忧参半 拼多多称补贴仍将继续

三季报喜忧参半 拼多

拼多多为新增用户支付的成本在逐步减少。拼多多本季度
“重置”红线 游戏厅行业大洗牌将至

“重置”红线 游戏厅

未来相关部门可能还会针对市场上不同类型的相关娱乐场
科大讯飞 深耕教育15年 用人工智能助力因材施教

科大讯飞 深耕教育15

  原标题:科大讯飞 深耕教育15年,用人工智能助力因材
分拣中心“升级”助“双11”快递提速

分拣中心“升级”助“

自动化分拣设备、三段码的发明、政策的规范让快递“快
饿了么口碑“新服务”推动数智化变革

饿了么口碑“新服务”

  原标题:饿了么口碑“新服务”推动数智化变革“过去
最新文章
Ubuntu18 给terminal改个漂亮的命令行提示符的方法

Ubuntu18 给terminal

这篇文章主要介绍了Ubuntu18 给terminal改个漂亮的命
Linux下Docker及portainer相关配置方法

Linux下Docker及porta

本文以CentOS 7为例,安装docker CE版本,docker有两种版
vmware workstation安装windows server 2019(图文教程)

vmware workstation安

这篇文章主要介绍了vmware workstation安装windows se
protobuf简单介绍和ubuntu 16.04环境下安装教程

protobuf简单介绍和ub

protobuf是谷歌的开源序列化协议框架,结构类似于XML,JSO
ansible删除目录下所有内容的方法

ansible删除目录下所

这篇文章主要介绍了ansible删除目录下所有内容的方法,
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解

基于 ZooKeeper 搭建

Hadoop 高可用 (High Availability) 分为 HDFS 高可用