网站内容抓取工具的不同类型，你知道吗？

　　网站内容抓取工具的不同类型，你知道吗？

　　网站内容抓取工具的不同类型。如果只是抓取，可以使用开源的搜索引擎webos提供的一系列支持定制化的抓取服务，可以轻松高效的解决抓取难题。如果只是获取网站服务数据，可以使用相关的爬虫工具。比如chrome和firefox内置的googlewebstore这类插件。如果你想要弄定一切数据，你应该知道找到合适的切入点。

　　获取数据必须弄清需求，实现方案并不是一条捷径，你需要找到相关技术人员并联合合作才能真正帮助到自己。至于抓取器的选择，其实就那么几家供你选择。不过实际使用可能会发现你需要找的库有不少重复。不过这些抓取器开发完以后可以使用各种不同的工具，手动创建一遍往往比自己手动操作要花费时间要多得多。

　　楼上的回答不专业，无法忍。google和亚马逊有vps可以搭建hostsdns客户端。一般人用hosts都是挂vpn去顶的。你不花钱或者把google站点顶起来，是不可能有人帮你自动做vps配置的。更多方案：apache+php+flash各种脚本和插件和shell的写法eclipse+phpmyadmin+git。

　　使用搜索引擎来抓取数据，本身是一个复杂过程，在采集时会涉及到中文的上下文和链接信息。亚马逊的搜索结果解析文件是个xml，但是要写到客户端里，需要多个步骤，不知道怎么开发。你已经用firefox浏览器做过爬虫了，应该知道，firefox的解析文件是大名鼎鼎的xmlger，但是亚马逊用的是apache或者google的服务器，而且没有解析json格式的客户端，如果用firefox去解析json格式的数据，解析比较费劲。

　　这里给你个思路，你可以做服务器，生成数据包，用xmlger标记抓取的链接和中文编码。然后下载firefox的版本，并解析json格式的数据包，再合并到你自己的服务器，然后在，修改实现。原理是获取所有的页面，然后建立分类树，每个分类都解析一遍，合并分类树，然后在服务器里配置文件指定抓取网站。我用firefox的xmlon下载xml文件，做过一些尝试，暂时还没有成功，有人可以试试。你看下。(请在谷歌浏览器中打开以试验)。