seo文章采集站群系统(WP博客文章静态化通过ab命令测试 )

　　seo文章采集站群系统(WP博客文章静态化通过ab命令测试

)

　　WordPress 本身的并发性非常低。在双核2.5G+、2G 内存的 Linux 机器上。使用 Apache 的 ab 命令来测试它。并发大约是 6-10。对于站群的SEO策略来说，这个速度简直就是拿钱开玩笑。一台服务器部署50个WP博客，基本是极限了。一旦谷歌来了，博客基本就进不去了，很多时候会报数据库连接错误。这对谷歌蜘蛛来说是灾难性的。 （网站的访问速度也参与了网站的排名）。

　　那么有没有什么办法可以增加单台服务器上安装的WP博客数量，并在Google来的时候保持良好的访问速度？

　　本文将讨论如何在一台Server上部署100多个甚至200多个WordPress博客（在谷歌蜘蛛或高流量的情况下，博客可以正常打开）

　　需要解决的问题

　　* 数据库最大连接数

　　WP 的错是 Mysql。对于Mysql5.1+之后的版本，默认最大连接数是151，而之前的版本只有100。并发在一个有50个博客的服务器上，这真的是不够的。由于google爬虫，个别博客基本会出现数据库连接不上的问题。

　　我一般会修改/etc/f文件，将Mysql的最大连接数修改为1000，其实这个数字太大了，不好。 Linux服务器和Apache受内存限制，可以打开的有效连接数不是很大。超过 300 可能是危险的。如果有1000个case，我想你会用SSH登录不上。我只能靠自己的命运~~~

　　好的，修改数据库最大连接数只是第一步，也是最简单的一步。其实这个修改并不能改变什么，我们只是先处理Mysql中的预期问题。下面集中优化WP。

　　* WPblog文章静化

　　通过ab命令，当启用WP超级缓存插件时。同一台服务器的并发在1300+左右。这与 Concurrency 10 截然不同。

　　（关于如何安装WP超级缓存，请参考其他资料。不然我下次会补一篇文章）

　　这里我想说的是：

　　安装WP超级缓存后，首先需要开启所有文章页面的预处理（创建永不过期的缓存文件）

　　为每个博客添加robots.txt文件，阻止对tag/、category/、2012/等URL的抓取。

　　为每个博客添加一个 Google Sitemap 工具以生成站点地图。

　　对于新加入的文章，缓存系统需要访问一次，生成静态缓存文件。用于推广的博客，一般一个站长手上有数百个博客，而且博客通常使用伪原创software 自动发布。一个博客每天可能会发布几十个文章。不可能在文章全部发布后点击一页（让WP缓存静态文件）。所以这里我们需要一个类似于蜘蛛的程序。 文章发布后，我们会模拟蜘蛛来采摘。这样，当蜘蛛来到采集时，WP已经为它准备了一个静态页面，瞬间将WP博客的访问速度提高了几个级别）。但是对于一些博客来说，谷歌来的很快，可能在发个文章后5分钟，蜘蛛就会来。所以最好的策略是在文章发布后，程序可以访问当前发布的文章一次，这样即使蜘蛛在5分钟内来取它，我们的WP也已经缓存了相应的静态文件。

　　要推广的WP博客，需要注意配置。

　　* 添加robots.txt到博客，屏蔽标签，分类，归档爬取

　　user-agent: *

disallow: /wp-

disallow: /feed/

disallow: /comments/feed

disallow: /trackback/

disallow: /sample-page/

disallow: /hello-world/

disallow: /category/

disallow: /tag/

disallow: /2012/