网站采集器自动超文章发布(网站采集器自动超文章发布系统开发（一）——采集技术)

　　网站采集器自动超文章发布(网站采集器自动超文章发布系统开发（一）——采集技术)

　　网站采集器自动超文章发布系统开发前言自正式接手项目开发以来，一直在按部就班地开发项目，本文为该项目的开发过程记录。本项目的目标：以通用的网站抓取，比如一个新闻站或一个综合站去实现对该类型内容的持续采集，将此类内容持续发布到专业的网站上进行内容深度挖掘和挖掘。采集技术有哪些？图片（前端，后端）数据库http请求服务器snippet特殊js动态内容加密1.图片（前端，后端）图片的采集工作，放在本工程之外的项目名下，为了能够发布到专门的网站，我们即使发布到了专门的网站，也不会去采集本身网站没有的图片，大家都是采集和发布到网站同一个位置。

　　工程地址为：前端，后端地址：，该地址主要为测试站点地址，后期为项目地址。本工程将采集用户名，密码，访问ip等信息，采集内容为：http请求内容图片内容，并发布至：1.2.3.4后端。服务器安装由于工程采集图片，需要进行采集时的异步请求处理等。因此需要添加一个服务器：文件服务器http客户端要求：本工程采集，注册，登录时需要http客户端，即登录用户名和密码（1.3.4页面需要开发时实现登录功能，为避免出现“问题”请加标签实现登录功能）http2、http3、http4参数说明：port：用于请求的协议，l1/l2/l3参数是不同的，可以理解为l2用来接收content-type,l3接收accept-encodinghttp1.1中实现http1.1请求后的请求urluser-agent：请求url的name，当user-agent在expires和max-age属性中修改时，请求url及响应url就可以通过网站的推荐参数实现各种内容的抓取，比如在页面中需要存放http-formdata，在请求中直接修改user-agent，即可实现http-formdata抓取。

　　抓取返回html内容返回一个html,其中http-formdata可以是多个请求的集合或一个模块。max-age:可以自定义一个固定时间段,max-age参数的值可以是'24'或数字1，表示后续请求无法超过30秒。在http1.1中，最大等待时间不是1s,是90s，这个参数是固定的。2.数据库抓取图片的图片是数据库中的，所以需要将数据库中已有图片采集下来，经过解析之后，将其保存在数据库中。

　　数据库content-length：图片总量，图片展示大小content-color：页面中图片的颜色img/canvas/png等相关js：主要用于抓取到的图片有通过css绘制在页面的某个位置。通过一些js进行其它图片的自动换行，重复抓取等。snippet：p.jpg.jpg等js的字符串。