js抓取网页内容(js抓取网页内容有很多种情况你还没有设置代理？)

　　js抓取网页内容(js抓取网页内容有很多种情况你还没有设置代理？)

　　js抓取网页内容有很多种情况。你还没有设置代理？你没有修改headers？你的页面内容存在ajax？你的页面内容是self.page获取？你想怎么抓取？上面的任何一种情况都可以让你找到想要的结果。网页源码看不到的话，你再继续问如何爬页面。有问题一定要说明清楚，才好给你分析帮助。

　　http://~www.yaojiang.we/bbs/#download.html

　　1.首先确认你想抓的是哪个页面，如果一页一个网址，那没办法拿到全部html网页的内容，因为每个人的页面都不一样，一般去whois查询可以找到该页面对应的域名。2.要分析页面源代码，才能看到网页中的内容。

　　提问的方式，总是可以让人学到很多。

　　你要有耐心，

　　就是抓包呗，反正刚毕业，年轻有点精力没啥不好的。

　　分析robots文件啊，

　　你手工爬那是犯贱，不是问题的关键！关键是你要使用一些工具，不仅帮你爬网页还要帮你拦截广告、缓存、管理代理，这样才能真正提高效率！但是这些东西钱少了根本没有成就感，所以要寻找一些免费的可用的chrome插件，给你我推荐tinypng，功能足够强大，

　　在左侧搜索框随便输入一个网址然后双击然后重新加载

　　可以用chrome浏览器，打开右上角的分享按钮，在右侧找找，找到abp下载插件。右键点击有一堆分享菜单在不下载就可以看见哦。当然也有你说的分析robots文件。