狸窝网页flash抓取器，安装后它支持批量抓取项目助手

　　狸窝网页flash抓取器，安装后它支持批量抓取项目助手

　　狸窝网页flash抓取器，安装后它支持批量抓取项目助手来抓取网页，比如,账号密码是qi***，打开云访客登录，这样就可以查看保存到本地的页面数据指纹识别采集指定的网页，

　　微擎开发一键爬虫工具在这里

　　零次元|一站式网站爬虫saas平台

　　如果web目录不多，并且是静态页面可以用phantomjs之类的动态脚本语言。可以直接利用爬虫框架爬。还可以自己设置爬取时间戳。参考phantomjs。

　　可以看看讯飞语记的抓取功能

　　我们团队正在做定向爬虫，

　　我正在做定向爬虫。

　　github-antiscrapy/anti-parse:agui-forparsing."anti-parse"isaparsebuildofscrapyforextractingscrapydata.youaregoingtostartparsingscrapydata.

　　爬虫分两种，一种是发现，就是分析网页结构，然后从网页中提取想要的信息；还有一种是监测，就是给网页装上定向js，一旦有js变化就自动更新页面，从而达到持续监控网页变化。一般来说是用scrapy做的。在前端写个web服务,监测http请求，得到响应，然后分析响应提取出需要的信息。

　　使用爬虫框架，我用过webdriver非常方便，模拟浏览器的操作，选择div、span等各种tag标签，结合爬虫的逻辑、语义，一条一条地去点击，