javascript网页动态页面所需的数据爬取，完全不必

　　javascript网页动态页面所需的数据爬取，完全不必

　　关键词文章采集所谓的挖掘是指网页采集，这种广义上来说算web挖掘。它是利用各种web技术（ftp/http/cgi等）完成从一个网页中搜集信息，从而完成搜索结果的录入。比如你想在后台搜索*敏*感*词*方块，那么你要去获取很多关于*敏*感*词*方块的网页，这些都是你所要采集的内容。你所采集到的信息有了什么作用呢？举个简单的例子来说：你想给你的孩子玩一款名叫「机器人大战」的游戏，你可以准备一个搜索引擎，并让它从你这里搜出来一大堆关于这个游戏的描述或者是图片。

　　关键词爬虫在互联网中抓取网页是一项耗时耗力的工作，往往要用到scrapy、python等等技术。但就算你会这些东西，你也不一定知道怎么用它们，让它们工作起来。不信的话，你看，有的网站明明有十几个甚至几十个网页，但很多人依然是不知道用哪个，这就是因为他们没有用到方法。能用scrapy解决的问题就不用你自己重复造轮子，用scrapy能解决的问题就不需要你自己去折腾。

　　「爬虫能解决的问题」本质上和编程是相似的，只是学习成本高，爬虫往往也需要有一个社区让他们去讨论。javascript/html爬虫dom爬虫你要不要花大量的时间去爬呢？完全不必。javascript网页动态页面所需的数据爬取，在这里我简单提及一下，nodejs在web中已经有很多的库可以用来处理这个问题，比如document.body,node.js下有个「helloworld」库（www.hello·github），支持body的内容如下：givermethod:simpleurl:/hello/xxx/xxx/name/xxx/"middleware":{//在node上使用浏览器控制台如：node.jshello-alert-event这样动态渲染进来的数据data:[{"type":"name","name":"john","property":"age"}],//写python代码来封装一下data:"xxxxxx",这样name对应的数据可以用一个list存放起来，然后对body也就是html文档做一下mediastream,比如：xxxxxx"xxxx".split("")["yyy"],如下：#{"size":(size_split)[1].prefix}最后我是用的javascript这一块，后来我想可能原因在于node.js开发更方便，node.js是基于express框架来开发的。

　　它在初创时正好赶上了borg/koa这些框架，这让node.js的一个开发比较便捷，同时还可以解决跨语言开发的需求。回到爬虫的话题，我在学习javascript语言的时候，比较受阻，因为我对它了解的不是很多，从学校里面练的水平来说真的不算很好。基本上你要找到。