文章定时自动采集(Linux程序任务管理使用外壳程序连接到服务器首先服务)

优采云 发布时间: 2022-04-11 16:23

  文章定时自动采集(Linux程序任务管理使用外壳程序连接到服务器首先服务)

  关注我的csdn博客,更多python知识还在更新中

  前言:

  为了参加计算机设计比赛,我和我的团队进行了一个数据分析项目。因为和数据采集、实时更新等有关,所以有这个文章

  主意:

  其实按时攀登并不难。你只需要在linux上运行程序并在上面加上时间。如果你学过 linux,你应该听说过这个 cron 服务。下次只需将其用于计划任务即可。

  服务器:centos

  任务管理:cron服务

  环境:python3.7

  如果对cron服务不了解,请看我的文章cron服务-Linux程序任务管理

  使用 shell 连接到服务器

  首先,检查 crontab 服务是否打开。如果您开启了主动帮助,您需要开始启动

  调用文本编辑器编辑cron任务 crontab -e 定时运行python爬虫文件的设置命令如下

  分钟数、天数、星期一 python 可执行文件名 我的项目已经部署到服务器,项目运行在虚拟环境中,所以必须进入指定目录和环境

  0 * * 7cd /www/www root/recruitdatavsible-master1source./cccc_venv/humbly tremella soup/activate python dataView/数据采集/总采集项目CCC表示cd会去项目文件,source启动进入环境,然后运行使用 python 命令创建一个名为 conten2.py 的文件

  具体修改显示命令可以看上面的文章

  现在我的项目是这样的,一共有九类数据

  现在邀请人们攀登两个类别。设置好定时任务后,看看能不能自动爬上去,然后存到数据库里自己展示。

  为了演示方便,这里设置为每分钟爬一次,'/'表示每次

  */1 * * * *

  然后我们等了一分钟,数据在我们什么都不做的时候发生了变化,之前的数据被替换了。这样有按时爬取页面的效果

  您也可以手动运行代码

  我的博客:_ 46654114

  我的B站关注:

  转载说明:给我解释一下。请务必注明出处并附上我博客的链接。

  请赞美和鼓励我

  python有什么用,使用python爬虫爬取网页信息 python爬虫代码大全,python代码

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线