采集器-百度人口迁徙数据

优采云 发布时间: 2022-05-06 15:07

  采集器-百度人口迁徙数据

  很多人写过如何通过代码获取百度人口迁徙数据,但是很多同学不愿意学代码,那完全可以通过采集器来尝试。这样利用采集器操作其实还可能会简单一些。

  我直接参考了别人写过的代码,直接得到了人口迁徙数据url的规律。

  province&id=110000&type=move_in&date=20200314

  加粗的部分是我们可以替换的部分,dt可以是省或者城市。id就是这个身份或者城市的id。type方式可以是迁入或者迁出,date就是时间。

  

  所以第一步是你需要获取这些能得到城市的id号,其实就是行政区划代码。然后就是建立网址的拼接规则。这里只是一个示范,获取了城市或者省份id,就可以自定义一个列表了。这样就把每个城市或者省份循环一遍,也能把需要的时间循环一遍。

  

  我们直接查看某一条连接的数据,可以用字符串截取的方式获取数据。

  

  如果你发现是乱码,完全可以在数据处理—高级功能—编码/解码,就行字符串解码。让我们测试某一页的数据。效果很不错。

  

  

  那么我们设置好时间,就可以直接获取数据了。获取数据之后,可以通过数据库的方式免费导出数据。《》

  

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线