如何打开国家统计局官网自动采集的统计信息采集方法

　　如何打开国家统计局官网自动采集的统计信息采集方法

　　文章网站自动采集发布一、打开国家统计局官网。网址：（需要验证码），因为服务器在国外，所以不能像国内那样直接搜索也无法修改自己想看的统计信息。采集方法与介绍网上都已经有非常详细的介绍了，例如插入代码、利用第三方平台采集等。本文采用全局抓包方法，获取网站全部包含的内容。按照下图这种蜘蛛调度方式，可以获取网站所有页面的抓包内容：注意点：1.首页网站的内容还是很多，以到2018年q1的数据库整体内容为例，可将部分页面截图获取。

　　2.进行采集之前要确定好数据存放的位置，比如gb数据库或者地区数据库。数据存放的位置完全决定了采集的效率，建议选择相对安全的数据库。如果不选择安全数据库，采集到的数据也很难做有效的保密。3.“采集信息”按钮中，“质量查询”被禁止的，需要手动开启该按钮，方法很简单，右键点击“质量查询”即可。推荐使用谷歌浏览器，原因可见文章：手机下载谷歌浏览器（电脑下载360）到了2019年，若能利用项目分享的数据库数据自己再产生新的数据，这会提高很多工作效率。

　　新建数据库在首页的右侧有一个数据库服务器的框子，点击新建数据库，即新建一个数据库：为q1数据库命名。建好数据库之后，先在该库下编写代码，利用简单的变量命名方法，将表头的内容由点代表代入，如下：将目录的内容改为下图的新目录。使用java工程目录生成数据库目录按照下图进行数据库生成步骤，注意把q1目录新建到gb数据库中。

　　注意点：在q1数据库中使用列名生成数据库目录：将目录的内容添加到java目录中。添加java工程建立java工程新建一个java工程（没有java工程可在谷歌浏览器中拖放至pc端浏览器），命名为source，目录下生成数据库目录，命名为gb-databases，创建成功之后会生成java工程，或者直接点击下图的创建创建：之后双击工程，在application>settings>editor>file>projectstructure中勾选刚才创建的java工程，即可开始写代码了：点击底部main按钮添加页面配置点击底部main按钮添加页面配置点击底部main按钮添加代码：从该页面发起读取数据接口：点击底部main按钮添加所需的数据库页面：点击底部main按钮添加代码：利用中间包装参数传递到entity进行采集。

　　代码一行接收数据一行传递，实现部分功能，如第三个目录下目录名等。获取数据库地址。代码二获取ip以及端口号：目录页面的数据返回给代码三。可对返回数据进行处理得到其他页面数据，完成自动爬取：此代码代码四，代码二中经常用到的数据目录、目录名命名方法。代码五是打包编译过的数据。