js抓取网页内容方法简单的下载数据的案例分析方法

　　js抓取网页内容方法简单的下载数据的案例分析方法

　　js抓取网页内容方法简单，而且如果抓取得网页尺寸小的话，也能保证抓取速度；不仅如此，还能够避免自己的爬虫被搜索引擎检测到，也不会泄露自己的信息；如果在抓取网页时，你的网页反反复复出现同一个页面，就能够增强抓取的速度，当然它和搜索引擎是一样的，搜索引擎一旦发现这个页面是爬虫抓取，就会自动在网页进行重定向，这样就不会再出现你抓取的网页；利用html4j爬取网页内容，类似与以前的favicon图标提取，但是它支持更多的条件，比如手机和pc端网页都支持抓取到；。

　　一、一个简单的下载数据的案例这个案例用的是网页反反复复出现同一个页面，

　　1、在浏览器中输入网址：百度();url=index#

　　2、按下回车键，页面中就会出现查询页面，

　　3、选择图片后，再把鼠标悬停在url中的图片上，选择它展开即可，

　　4、最后按下回车键，页面中就会展开出抓取内容页面，这个下载页面就是保存图片的网页。

　　当你爬去一个网站的页面的时候，你需要采用浏览器，因为如果你用爬虫在本地提取，可能会丢失隐私数据，而你使用浏览器是最简单的。这里不得不提一下采用http协议的爬虫，那么也就意味着你会采用get或post方式来进行交互，但如果我们有一个admin账号和密码，那么就需要额外设置密码和在浏览器中进行登录，来对页面进行记录。如何使用http协议爬虫？。

　　1、在ie等浏览器中输入地址：百度();url=index#然后点击搜索，就会出现搜索结果页，页面出现后输入一个手机号和验证码再点登录，就会登录成功，把一个页面打开按下回车键，我们会看到在网页中插入了一个公众号入口，点击这个链接，如果我们的url没有变动，它就会自动跳转，当然你可以自定义跳转路径，而我们所需要去获取的url地址就被封装成了一个标签token。

　　2、在浏览器中输入url：'/'/info/thumb-xxx/get-post""&s=30328482&xxx=re:ehr00141"&yxx=re:ehr00141"&zxx=re:ehr00141"#''，xxx是中文冒号，url是一个标准的请求url，但是作为工具来说，你可以设置一个函数进行格式化输出格式，很方便。

　　注意：设置url参数的text:""字符串，只有url参数时使用！！-alias-ip_abcd'取代set-ip规则或者是xxx.xxx.xxx.xxx;ip或者xxx.xxx.xxx.xxx'。

　　3、在浏览器中输入url：""，