文章定时自动采集(Linux程序任务管理使用外壳程序连接到服务器首先服务)
优采云 发布时间: 2022-04-11 16:23文章定时自动采集(Linux程序任务管理使用外壳程序连接到服务器首先服务)
关注我的csdn博客,更多python知识还在更新中
前言:
为了参加计算机设计比赛,我和我的团队进行了一个数据分析项目。因为和数据采集、实时更新等有关,所以有这个文章
主意:
其实按时攀登并不难。你只需要在linux上运行程序并在上面加上时间。如果你学过 linux,你应该听说过这个 cron 服务。下次只需将其用于计划任务即可。
服务器:centos
任务管理:cron服务
环境:python3.7
如果对cron服务不了解,请看我的文章cron服务-Linux程序任务管理
使用 shell 连接到服务器
首先,检查 crontab 服务是否打开。如果您开启了主动帮助,您需要开始启动
调用文本编辑器编辑cron任务 crontab -e 定时运行python爬虫文件的设置命令如下
分钟数、天数、星期一 python 可执行文件名 我的项目已经部署到服务器,项目运行在虚拟环境中,所以必须进入指定目录和环境
0 * * 7cd /www/www root/recruitdatavsible-master1source./cccc_venv/humbly tremella soup/activate python dataView/数据采集/总采集项目CCC表示cd会去项目文件,source启动进入环境,然后运行使用 python 命令创建一个名为 conten2.py 的文件
具体修改显示命令可以看上面的文章
现在我的项目是这样的,一共有九类数据
现在邀请人们攀登两个类别。设置好定时任务后,看看能不能自动爬上去,然后存到数据库里自己展示。
为了演示方便,这里设置为每分钟爬一次,'/'表示每次
*/1 * * * *
然后我们等了一分钟,数据在我们什么都不做的时候发生了变化,之前的数据被替换了。这样有按时爬取页面的效果
您也可以手动运行代码
我的博客:_ 46654114
我的B站关注:
转载说明:给我解释一下。请务必注明出处并附上我博客的链接。
请赞美和鼓励我
python有什么用,使用python爬虫爬取网页信息 python爬虫代码大全,python代码