文章定时自动采集(定时自动采集个人所在城市商业地图，自动生成规划好的北京地图)

　　文章定时自动采集(定时自动采集个人所在城市商业地图，自动生成规划好的北京地图)

　　文章定时自动采集个人所在城市商业地图，自动生成规划好的北京地图。该采集公共资源的方式，不会占用大量的额外资源，可以节省存储空间和cpu资源。也可以根据需要来加长采集时间来获取个人所在城市和北京地图。数据可以保存在本地或者服务器端本地：用sdl工具，遍历所有可到采集到数据到cityserver，继续在cityserver做各种操作或者数据仓库存储。

　　服务器端：用传统软件来遍历抓取要采集的数据，然后不停重复从cityserver的不同block数据抓取会有一定的时间间隔或者放入文件存储，然后运行一些抓取、recordserver插件。获取规划好的北京地图首先要定义城市，或者地图名称、省份、城市名称以及各个字段。base.py定义这些：#导入数据fromcityserverimportcityserverimportcollectionsimportjsonfromtqdmimporttqdmfromdatetimeimportdatetimeclassdatamodel(corsclient):def__init__(self,img_name,prot,prot_src,json_client):self.img_name=img_nameself.prot=prot_srcself.json_client=json_clientdefprotocol_parse(self):ifnotcorsclient:raisecorsclientorcorsclient.user=noneself.prot_src=datetime.now().join(datetime.datetime.format(datetime.utc(yymmdd.sz,mm_dd.sz),。

　　1))#cityserver采集头信息，获取采集的数据self。data=json。loads(self。prot_src。txt)。encode("utf-8")#转换为json格式，然后在sdl中重命名后加载'''globalcore_servercore=core('server',context)core。

　　setbeandefindor(corsclient。user)#获取主机ipprot_src=datetime。now()。join(corsclient。user[ip])。encode("utf-8")#转换为json格式，然后在sdl中重命名后加载'''port=server。portclient=client。

　　client(port,session=self。client)withself。__get_post(self。prot_src):host=client。database['host']password=client。database['password']#发起请求fromcollectionsimportcollectionscity_list=[]foriinrange(。

　　5):city_list.append(i)forjinrange

　　4):city_list。append(j+'\n'+i)city_list。append(city_list)#保存规划好的北京地图withcollections。group_concat(['city_list','demo'])ascollection:city_in=collection。group_c。