()文章采集程序员，必备要点之一

　　()文章采集程序员，必备要点之一

　　文章采集程序员，必备要点之一：开始爬虫程序的时候，应该抓取哪些页面？避免受到系统限制。这一篇我们先来看一下，开始爬虫时，爬取的第一页和第二页，应该怎么去爬取。基本上就是走一个post。有两个问题：在post方式发送前，我们应该把参数传递给谁，如果同一个参数同时发送给多个接口，这些接口是否可以正常调用（需要参数对应上），关于数据同步问题，在之前的文章中讲过：一般情况下，是post收到的数据先同步到数据库再同步给接口函数。

　　此外，还有几个情况，在使用post时会出现一些问题，在这里给大家做一个注意：varrequest=newrequest("username","password")//usernamepublicfunctiongethelper(username,password){//注意这一句this.setrequestheader("https",true)this.setrequestheader("version","1.0")this.setrequestheader("content-type","application/x-www-form-urlencoded")this.setrequestheader("travelserviceid","")this.setrequestheader("host","")this.setrequestheader("requestedrequest",true)}request.on("response_content",response)request.on("user_id","password")request.on("user_name","gethelper")request.on("password","gethelper")//那么，post发送了一个参数给server.gethelper函数里的上述this接口里的一个参数。

　　如果我们同时发给了username和password两个参数，就会出现两个请求（但我们往往只发送给password一个参数，而username发了多个请求，即多个请求)varrequest=newrequest("username","password")//postserver.gethelper(username,password)//这里username方法是值传递。

　　参数变更之后，我们的上述问题就迎刃而解了。request.on("response_content",response)request.on("user_id","password")request.on("user_name","gethelper")//但是，post的action是gethelper，而不是get方法。

　　在整个post请求里面，只有一个post方法，即request.gethelper(username,password).目的就是把username和password的value输出到数据库。