php抓取网页数据插入数据库(论坛SEO优化时要注意这几点的SEO设置调整，我们在做Discuz)

　　php抓取网页数据插入数据库(论坛SEO优化时要注意这几点的SEO设置调整，我们在做Discuz)

　　论坛上的SEO优化实际上变得越来越困难。主要原因是论坛会产生太多无价值的信息和浇水的帖子。这与当前搜索引擎想要的价值内容相反。拿 Discuz！例如。连官方论坛的收录都不及时，甚至很慢。如果没有有价值的帖子内容，则不会是收录。这只能说明论坛产品不符合当前的网络需求和搜索引擎所需要的价值已经开始被*敏*感*词*，但作为主要社交领域的论坛，平台必然有它的存在。当我们在做 Discuz! 论坛SEO优化，一定要按照当前搜索引擎的要求，在网络环境中进行针对性的操作。

　　讨论！论坛在设计处对SEO优化做了相应的工作。优化时要注意这些点的SEO设置调整。

　　一、设置伪静态

　　启用伪静态链接。如果你有技术，可以单独链接，甚至伪静态，但是你必须考虑以后是否会在应用中心购买插件，因为很多插件只支持默认的伪静态。

　　开启伪静态理论上对搜索引擎更友好，可以更好的设置CDN缓存加速，但是Discuz！对CDN动态缓存加速不友好。如果设置CDN缓存加速，最好设置Discuz！后台全局-SEO设置-URL静态开启只对访问者有效，可以隔离由于CDN缓存导致用户发帖、回复等操作不刷新的问题。

　　二、设置TDK属性

　　主题、帖子等TDK属性不易过多，参考：主标题+站名，分类标题建议不要设置，更有利于搜索展示和搜索引擎判断。

　　3.开启内置缓存并启用MemCached内存缓存

　　这两种缓存机制可以有效降低Discuz的访问压力！动态链接数据库，提高网站的访问速度。操作参考：Discuz！后台全局性能优化。

　　四、关闭防御采集

　　开启反采集很可能会阻止搜索引擎爬虫抓取网站的内容，所以一定要关闭反采集功能。

　　五、关闭不必要的功能

　　关闭网站趋势统计、管理工作统计、会话机制、主题评价、评论等几乎不再需要的功能，因为会增加访问负载和页面代码，不利于搜索引擎快速抓取分析页面。

　　六、开启Archiver功能

　　此功能是为 Discuz! 之初的搜索引擎设计的。打开后禁止用户访问Archiver，意味着只有搜索引擎爬虫才能正常访问，用户访问会自动跳转到准确的页面链接，有利于搜索引擎爬取和用户访问体验。操作参考：网站后台-全局设置-站点功能-管理相关-启用论坛存档功能，防止用户访问存档。

　　七、修改后的标签被捕获

　　讨论！默认是不允许搜索引擎爬取标签的，本意似乎是为了减轻服务器的压力，但是从SEO的角度来说，应该允许爬取标签，设置标签伪静态、标签列、标签-相关链接。参考Discuz!官网给出的标签，限制爬虫爬取和修改。

　　八、开启Gzip压缩

　　一定要开启压缩功能，可以压缩页面大小加快网站的访问速度，打开修改路径：根目录/config/edit打开config_global.php/modify到$_config ['输出']['gzip'] = '1';

　　九、启用CDN缓存加速

　　CDN缓存可以大大提高用户访问网站的速度，降低服务器负载压力，尤其是Discuz！是一个完全动态的程序网站。用户每次访问都需要链接到服务器和数据库，在服务器配置和宽带上都有效。要求更高，CDN缓存可以让大量访问者阅读论坛帖子，不消耗服务器资源，提高用户体验和搜索引擎识别度，但设置CDN不缓存PHP等其他动态页面，避免用户登录等问题。

　　十、少用插件

　　尽量减少使用华而不实的功能。安装一些SEO插件就足够了。采集如果安装太多，会降低整个网站的访问速度，增加安全隐患。