网页数据抓取(如何定时地爬取页面是不是可以呢？？)

　　网页数据抓取(如何定时地爬取页面是不是可以呢？？)

　　网页数据抓取网页数据抓取技术可以实现页面的随机刷新与更新。比如我们抓取一个的商品页的话，如果没有去重的话，每次爬取只获取一个页面，这样是非常非常浪费的。那么我们如何定时地爬取页面是不是可以呢？方法有两种，其中一种比较简单，就是我们可以去你选择的源码里面，根据下一次想要获取的列表页面的形式把数据抓下来。

　　另外一种技术我会写一个爬虫程序，每一次爬取一个源码列表页，然后根据返回的结果判断什么时候需要什么列表页。那么就是需要计算数据库里的条件，如果满足某个条件，就把页面里面的内容抓取下来并重新写一个新的页面。事实上，我们的页面数据抓取的工作，只需要两步：1，去除我们不需要的页面。2，匹配我们已经建立好数据库里的对应记录（抓取过程中我们是没有记录任何数据的）。

　　来看一个简单的例子。anything.js如果有修改，需要大家自己修改html里面的anything的源码。varanything=document.createelement('script');anything.src='./js/anything.js';//anything的网址varanything=document.createelement('div');anything.innerhtml='{{mydiv.href}}';思路：我们可以去对数据库里的记录进行查询。

　　利用url地址完成如果没有数据库的话，需要去我们数据库里面抓取数据。例如js爬虫，我们可以去数据库里面抓取对应的app的名字。这时候我们要爬取我们建立好的数据库里面的信息的话，我们需要去数据库里面抓取相应的url地址。即：对于app的名字，我们会有一个记录，那么在抓取之前我们需要爬取它的地址（因为它是在浏览器中抓取的）。

　　然后可以调用爬虫程序去里面找到它，然后进行如下操作。对于抓取app的名字，我们可以将页面的dom元素的信息一一列出来，然后去url里面匹配获取相应的app的信息：对于抓取app的名字，我们可以根据地址匹配数据库中已经存在的数据库记录，也可以依据地址去浏览器中去抓取相应的信息。一旦数据库中的记录与我们需要抓取的app的记录不匹配的话，那么这个页面就不能再继续抓取。

　　api程序利用api实现爬虫程序。在爬虫程序上，首先我们建立好自己的数据库，要获取的信息存在数据库里。然后爬虫程序会根据我们的数据库信息去请求api获取信息。然后爬虫程序就会发送请求来查询数据库，比如一个商品a的id，商品类别，价格等等。爬虫程序会将这些信息输出到一个json或者html格式的返回。这个爬虫程序要写在你。