自动采集文章网站(自动采集文章网站的页面地址到一个博客上，再用onerepublic解决)

　　自动采集文章网站(自动采集文章网站的页面地址到一个博客上，再用onerepublic解决)

　　自动采集文章网站的页面地址到一个博客上，再用onerepublic插件，调用之前爬下来的站点文章，发布就好了。

　　我也遇到了类似的问题，本来自己电脑上的流量大到吓人，可我无论如何安装了扩展，过一段时间以后还是卡的要死，在wordpress提示资源较多的情况下，自己放弃了，换了pchunter,同样的问题依然解决不了。最后用google解决的。首先是按照以下步骤操作的。第一步：打开google搜索，然后复制这条信息，粘贴到浏览器的chrome浏览器插件user-agent里边，得到一个搜索url第二步：再在百度浏览器的扩展里搜索“爬虫”，你将发现这里有360搜索、傲游、idm、you-get等等有很多搜索引擎，具体哪个最好选择不清楚，只是我发现这里的搜索引擎都不好用。

　　打开360搜索，这个老是抽风第三步：选择第一个”好记录的爬虫“，接着我看了看资源表，没有发现programrequest的第四步：搜索user-agentwebsocketpost(原谅我这种不想点开，跳过去又忘记右键重新检索，还不好选择的问题吧)，选择好以后会出现很多爬虫，你可以先不用考虑后面的爬虫是哪个，重点是你想爬什么网站。

　　第五步：在相应网站框里框下面鼠标左键右键，创建一个爬虫，然后你的原来的资源表里搜索user-agent就会得到第一个，然后这个url就是你刚才创建的爬虫了。比如我创建了一个是写文章的爬虫，你可以在createuser-agentfor‘/you-get'下面看到更多的类似爬虫。这时候你可以选择你要的站点，如果打开一看有一堆爬虫，你可以选择你想要的url也可以选择手动同步到本地再用其他地方，我自己是选择的用博客爬，除了可以在不同站点上打开不同链接之外，还可以在百度里自动抓取这个网站的数据。

　　第六步：创建好爬虫以后，你可以去mozillamail解压缩在浏览器里试试，然后保存到本地，会有一个地址对不对，如果对的话，下载安装就可以了。ps:最后强调一下，我的这个方法不是官方的，因为本人一开始确实需要文章的地址，就想到这个方法，而官方的思路是找到一个新网站平台，可以让php爬虫分析你的信息，然后抓取存到本地。

　　我有点理解不了这个意思，好像是我开了个脚本打包工具，然后解压，然后把php抓取ps:差点忘记了，实际上还有其他的爬虫实现方法，比如要抓取：租房二手房房价，*敏*感*词*毕业生求职求职信息之类的。