网页文章采集器(网页文章采集器的三个方法，你知道吗？)

　　网页文章采集器(网页文章采集器的三个方法，你知道吗？)

　　网页文章采集器呀，比如云采集、快云等，具体哪个不是很清楚，不过你可以从域名上看一下，有个网址还是挺不错的，可以查看你想要的网页，需要的话，

　　如果你的网站已经有蜘蛛爬过、返回，可以尝试使用插件"postheaderplugin"(如fiddler可以设置postheader)；如果你的网站还没有蜘蛛爬过，也还没有回报，那么，没办法。web抓取设置成抓取公网页面，不要抓取特定机构网站；采集方式使用:301。

　　三个方法：

　　1、注册一个googleanalytics账号，网站上的图片、文字内容、信息全都提交上去，

　　2、注册一个posterplugin（类似页面插件），这个就是个隐藏文件，在爬虫抓取网站时被使用到，需要将这个文件提交给google，google就会自动抓取，

　　3、就是按照你采集的内容去寻找类似“postheaderplugin”这种插件，已经提交过网站的话，他就会自动抓取；这样就可以通过公共页面采集站点获取更多的网站。

　　我自己的网站就用的自己辛辛苦苦找来的静态网站。然后用了几个极其简单的插件，比如postrxy。目前已经能采集95%的网站信息了。

　　1、速度太慢了，一般是抓取50字符，1秒钟抓取60个页面。正常人用的话几十秒就采集完了，爬虫用还能撑1分钟，我推荐还是不要在自己网站用静态方式，

　　2、采集完了需要再次提交给google处理，而我们一般网站需要上传个5000级别的静态网站，几十秒就处理完了，但在一分钟内必须全部抓取完，否则之前的全白费了，这是对源网站极其不负责任的行为。前段时间我一个网站1000多个页面，用静态方式采集到了9000多页面，然后全部提交给google处理，很幸运的，其中有400多页有效，把它处理成网站的主体，完美！。