网页采集器的自动识别算法(网页采集器的自动识别算法是很复杂的，如果不是什么特别大的项目不建议用太复杂)

　　网页采集器的自动识别算法(网页采集器的自动识别算法是很复杂的，如果不是什么特别大的项目不建议用太复杂)

　　网页采集器的自动识别算法是很复杂的，如果不是什么特别大的项目不建议用太复杂的采集器，如果你用的是一些通用的采集器可以试试陆路云采集器是收费软件，

　　是rs232接口采集。比如爱采宝、空格都是，如果你要用web方式的话，

　　自己开发的采集器，开源项目自己写也可以。公开的就云采集，免费的vsphere采集器，或者采集云都可以。

　　如果主要是想做爬虫，

　　在公司推广中，见过一些大神们用自己的采集器做成了精美的ppt版，相当精美，手机端一样可以采集新闻。我就在想用自己写采集器可以实现这些功能，就像你做一本ppt，所有新闻内容都是可以看到，不用专门找图片。然后，经过一番摸索以后，发现，基本上这些爬虫的大佬们，都有很棒的写爬虫的思路。他们也根据某类需求去写ppt，然后筛选。

　　最后，需要的内容往往可以满足采集器可以抓取的需求，当然可能还有采集器的定位不同，他的抓取器功能不同。有的人重点在抓取新闻，有的人抓取文章。个人觉得好的爬虫无非是两点：抓取有价值的数据，自动生成生产模型，可执行代码。

　　如果是在线的就用scrapy，如果是提取页面数据的，要看你是做什么地方，另外你要涉及到什么类型的数据，比如做实时数据需要引入httpdump，httpclient之类的，要全网爬的话，可以是用java对http通信包统一封装，就如果你做点简单的爬虫，普通的scrapycrawler包就够了。