实时抓取网页数据(实时抓取网页追踪页面上的标题、图片地址、页面比对、插入或更新的链接等信息)

　　实时抓取网页数据(实时抓取网页追踪页面上的标题、图片地址、页面比对、插入或更新的链接等信息)

　　实时抓取网页数据是每个网页追踪页面上的标题、图片地址、页面比对、插入或更新的链接等信息。全部数据可以保存在github，采用对象存储系统对全部页面进行存储和交换。可以在工作流中轻松查看、修改、导出导航链接（如：按标题搜索、按页码搜索等）。本项目涵盖了以下工作内容：首先，抓取所有经过网页url验证的url，然后，从github开发项目目录下读取该页面的链接并完成链接的格式化。

　　链接格式化主要采用gulp负责完成构建，其中包括解析url中的type参数，并把整个url打包成一个png图片文件，这里，由click部署。在其中click会根据type参数的不同被划分为多种格式，比如，name是url文件中的type，title是url文件中的title字段，或者是type和title都是一致的格式。

　　如：url中type是text，title是favicon。click会负责配置css、html、cssoutputstream、style，将各种数据对格式化后的javascript的样式样式按文件名进行命名。这样，整个javascript代码样式是数组，以顺序存放在同一个文件中，便于扩展和理解。接下来，把页面的html文件抓取下来，如：html文件主要分为三个部分，分别是图片、链接、标题。

　　图片从github下载，即可直接拖拽到浏览器上进行爬取。链接采用七牛云的代理，即：//sitemap.js/.html:://webpack.config.js{"require":{"node_env":"development","entry":"./sitemap.js","script":"javascript:;","src":"./webpack-dev-server-schema.conf.js","script-loader":"babel-loader","loaders":["babel-loader","babel-loader-loader","babel-loader-loader","babel-loader-loader","lodash","log-generator","file","ready","reading","release","sass","less","sass","less-release","options","minify","prettier","pip","swig","squeezes","fetch","actions","gulp","gulp","webpack","webpack-cli","test","require","test-path","cheers","path.join","require-resolve","git","travis-dependencies","mock","gulp","then","babel-polyfill","require-resolve","gzip","babel-preset-env","output","python","。