解决方案:免费文章采集器怎么把你的采集数据传到我们的服务器上

　　解决方案:免费文章采集器怎么把你的采集数据传到我们的服务器上

　　免费文章采集器在文章采集的时候，有一个比较关键的事情就是怎么把你的采集数据传到我们自己的服务器上，所以在采集的时候就需要一些中间页面，来提供我们的服务器可以调用的数据，目前主流的文章采集就是通过浏览器直接抓取，那么怎么直接获取呢？其实最简单的就是加一些锚点来间接的采集了，比如这个：首先是分析页面结构，然后是到js之后判断原网页元素的值，是否在特定字段上。

　　比如发现很多字符串可以通过value进行布尔值判断，然后直接返回正则表达式就可以了，具体的js内容看github上的js完整的代码，获取出来的数据有兴趣的自己摸索吧。demo地址：，然后点击写入，这里要说一点关于之前用的dm框架基本上已经废弃掉了，因为之前用他采集，耗时比较多，比如加载出来的时候，需要几秒钟的时间，之前用这个dm的时候用的是自己写的web服务，耗时一度达到30秒左右，而且是对分布式压力的情况下，这里直接用s3.js将web服务采集出来的数据放到googledocument，这样可以减少很多方面。

　　web服务一般一天只能消费5g左右的文件，所以如果要采集的数据多，建议使用s3等其他地方写入，再部署到web服务上，效率提升非常明显。好了这里直接发个demo，需要用到web服务去启动：[root@elcoordayer2~]#sudoapt-getupdatesudoapt-getinstalllibffi-dev#用于获取file在s3的信息[root@elcoordayer2~]#sudoapt-getinstalllibs3-dev#用于读取html在s3上的数据sudoapt-getinstalllibfmq-dev#用于json在文件中进行操作，可以建立http的连接sudoapt-getinstalllibjpeg-dev#用于解码网页中的图片sudoapt-getinstalllibjpeg-dev#用于js-string在文件中读取sudoapt-getinstalllibfz-compress-dev#用于base64编码，比如把图片从网页解码下来传送到excel中[root@elcoordayer2~]#apt-getinstalllibdlib-dev#用于从静态页面读取jsonsudoapt-getinstalllibanto3-dev#用于从静态页面读取html-compressedjsonsudoapt-getinstalllibanto3-compress-dev#用于从静态页面读取html，包括js等等，可以理解为目录结构的遍历[root@elcoordayer2~]#cddemo[root@elcoordayer2~]#stuff.js[root@elcoordayer2~]#curl-fssl@:8080\\.。