汇总:自动采集网站内容，合并页面抓取下来的文件太大

　　汇总:自动采集网站内容，合并页面抓取下来的文件太大

　　自动采集网站内容，合并页面，抓取下来的文件放到合适的位置，有些站点的合并下来的文件太大，

　　一.你应该不会拿到网站后面的数据。二.如果你手动刷新下，如果搜索引擎看到某些页面没被抓取，它会为你生成新页面，但不是指向你刚才刷新页面的那个站点的。

　　不能根据电信或者其他运营商默认下载网址抓取

　　前端抓取，后端实现提取。

　　可以，

　　使用易语言可以很方便实现网站制作，

　　你需要使用动态语言，在发出http请求后做适当处理即可。如python。

　　现在谷歌也有一款类似webrtc的语言了，但是对开发者依赖性较高，难以学习，需要有编程经验。现在很多网站后台都是使用html5技术的，只要你想对网站进行相应修改即可，前端打造相应功能。希望能帮到你。

　　能

　　需要后端的驱动

　　浏览器支持抓取页面并进行相应的修改工作。

　　有一些网站的文本编辑器是允许自动抓取的，自动操作，可以修改，可以抓取，前端制作比较简单。

　　web_snapshot

　　有automator可以获取抓取出来的html和一些json数据，

　　可以有后端的驱动的动态程序。