如何从ansiblerun一个全自动运行并循环的任务?
优采云 发布时间: 2021-05-13 07:06如何从ansiblerun一个全自动运行并循环的任务?
文章采集程序开发者要做一个支持1000个用户的网站,内容要尽可能丰富,但又不能过于冗余。haha~所以让我们尝试写一个支持1000个用户,但又不必让每个用户看到的个数不等的html文件。我采取的方案是完全自动化。解决方案的思路是从用户提交的所有文本文件中自动的抓取信息,放到"jobs"这个api里去,同时可以获取到用户的feed.用例如图:基于完全自动化思路,开发者对每一个用户提交的信息都要捕捉到;同时对每一个用户的feed数据也要捕捉到,保证后续的数据爬取不会出现个别“错的多”或“错的少”的情况。
刚好我司php开发小弟昨天才帮我找到一个开源解决方案——如何从ansible中run一个全自动运行并不断在自动规划中循环的任务?
写爬虫的时候只爬全站,用虚拟环境运行控制台里让用户自己选,最好让用户保留代码,代码是不暴露给第三方的.
直接把爬虫发给开发去写即可
爬虫从一开始就写死是不划算的,你现在想到了可以用类似selenium的模拟真实环境和爬虫自动识别反馈网页内容的工具。
execute_request请求参数设置好,每一次被正确解析,不设置参数永远不会解析正确。然后类似:local_page_trait这种python本地的http请求库就可以处理爬虫,这个很多库可以使用execute_request请求和请求处理就是接手传入的第三方库,来进行处理。