自动采集机(soup用户可以自定义界面选择采集哪些网站、哪些时间段)

　　自动采集机(soup用户可以自定义界面选择采集哪些网站、哪些时间段)

　　自动采集机器人是一种自动程序采集服务器的概念，可以在被采集网站上操作数据。用户可以自定义界面选择采集哪些网站、哪些字段或者哪个时间段。机器人系统一定比人工采集的效率要高，但是不代表系统没有漏洞。机器人采集的优势不用担心会被网站或者网站管理人员爆破。任何手工访问该网站的用户只要返回http请求，就会被识别，此时系统就会自动采集。

　　如果被某些人员访问造成该网站访问不完整或被篡改。那么机器人采集也会把相应的字段重新进行解析来进行发送。系统只需要负责完成相应的操作即可，系统不可以控制采集的规则来避免作弊。控制采集规则比如在系统设置时间采集，或者采集时设置自动停止和启动时间。控制采集字段的使用，比如说不同的电商网站，他们的交易详情数据是不同的。

　　不同电商网站他们采集字段的类型也是不同的。那么你需要有可以支持不同网站字段的操作系统。配置采集规则的方法有很多，但这里提供一个比较快捷的方法，不过缺点就是采集速度不会那么快。但是效率会高很多。

　　1、打开系统自带浏览器。

　　2、打开url并输入相应的链接。

　　3、点击configure--default这个过程可能需要等待3~5秒的时间。

　　4、点击execute之后，机器人就会自动开始采集了。并不会自动修改规则，要自己手动去修改。如果发现机器人出现不同的网站是，那么再点击一下。看是否自动连续自动续采集下去。点击finish后，就开始自动重复下去。遇到什么问题可以在这里提问importrequestsfromlxmlimportetreefrombs4importbeautifulsoupmenu=requests.get('')soup=etree.html(menu.text)ifsoup.style.is_content(soup.select('.detail-detail')):soup.insert_text(download=menu['text'])returnsoup.text.split('.')[0]else:return'['.join(soup)[0].text。