java抓取网页数据靠谱的爬虫应用程序是怎样的？

　　java抓取网页数据靠谱的爬虫应用程序是怎样的？

　　java抓取网页数据是会受制于浏览器缓存的，如果不是靠谱的爬虫，网站管理员绝不会给抓取的请求发送https重定向，所以靠谱的爬虫应该是基于javaweb去做的，而不是做成一个java小程序。小程序应该不用设计webroute，可以自动发送https请求，而javaweb可能需要写request和response的接口，如果抓取的页面不在https内，那么java应该不能抓取完整页面，同时抓取这些需要足够大的页面，所以效率肯定不够好。

　　实际上相比起使用javaweb应用程序，不用通过抓包抓取，小程序是非常好的替代方案，java实现不了的效率问题小程序就能解决，比如爬虫，微信端最多可以抓取10m的页面，小程序可以抓取50m，只是要编译的很快，不过利用phantomjs和threejs也能实现类似效果。另外小程序有一些免费的爬虫工具，比如搜索了“你也能写一个爬虫”推荐一些相对简单的小程序给各位看看。文章提取码：vx81二维码：;u=200934970更多教程请看：java零基础教程-网易云课堂。

　　没有必要，小程序代码更本不需要webroute等。

　　抓个数据，做个网站搞爬虫，数据抓好以后就开始抓重定向的方式。抓完之后直接对接小程序即可。现在小程序可以抓1m的数据了，如果没有数据，就在腾讯视频里抓。我那个50m的小程序，压缩下3m就够了。