php抓取网页不全 js(php抓取网页不全只有jqueryajax等第三方库都是中文包)

　　php抓取网页不全 js(php抓取网页不全只有jqueryajax等第三方库都是中文包)

　　php抓取网页不全jscssjsrequestsflash不全只有jqueryajax等第三方库，我想把jquery放上去，但是第三方库都是中文包。svn报错语法错误无法爬取1/这个链接是有爬虫的2/我爬虫把下面这个链接放在iframe里面爬取的3/这个链接不能爬取，只能爬取第一页，后面就可以爬取第二页4/在爬虫的headers里面设置js一定要正确5/提供个代理：:8080/switchme。

　　你只要记住你所爬的网站无任何爬虫规范就可以了。

　　1.github出来了爬虫demo你敢爬吗？2.如果敢爬就去按照最接近用户习惯的方式设计搜索规则，不要给爬虫留隐患。3.如果你说你不会自己做网站或者没有一个或多个网站爬虫项目，那你可以先用python试着爬一下几个网站，了解一下网站的url规则并且结合你爬虫爬回来的数据搜索，找到一个。然后你就可以学习一下最近比较火的另一个爬虫框架tornado并做一些适当的改动，又一个新的网站被你爬上去了。

　　可以参照我这个回答，是我用tornado几天爬的2000万数据，之后去看ruixue同学的回答（有哪些爬虫框架让你欲罢不能？-ruixue的回答）就行。1.ruixue说的很好，你有没有做过爬虫？网站规范，爬虫流程，爬虫框架等等，然后你在爬的时候，把这些问题想好，照着demo去撸。2.githubdemo基本我觉得可以不用看。

　　github上面所有的demo可能都比你当初做这个时候的框架好，但你不去试着学怎么爬虫，那可能这么多demo都帮不上你，毕竟爬虫这东西，真的是考验人的很多细节。