php 抓取网页生成图片(正文站点地图可以方便网站管理员告诉搜索引擎它的网站上有哪些可供抓取的网页链接 )
优采云 发布时间: 2021-09-21 21:09php 抓取网页生成图片(正文站点地图可以方便网站管理员告诉搜索引擎它的网站上有哪些可供抓取的网页链接
)
正文
网站地图可以帮助网站管理员告诉搜索引擎网站上有哪些可供抓取的web链接。最简单的站点地图形式是sitemap.xml文件,它列出了网站中的网址以及每个网址的其他元数据(上次更新时间、更改频率以及相对于网站上其他网址的重要性),以便搜索引擎能够更智能地抓取网站
为了让WordPress生成sitemap.xml地图,中国的一些人编写了专门的插件。著名的是柳城的百度站点地图*敏*感*词*和国外的谷歌XML站点地图。我认为这只是生成一个sitemap.xml。使用插件是浪费资源。让我们用代码实现它。代码是百度复制的,我自己修改了,支持为标签和类别生成XML,并且增加了sitemap.XML的生成时间
PHP代码
创建一个新的sitemap.php文件,并将以下代码写入该文件
daily
1.0
weekly
0.8
+00:00
weekly
0.6
weekly
0.4
weekly
0.2
将sitemap.php上传到网站root目录,然后访问查看效果
伪静态格式
Nginx:编辑现有Nginx伪静态规则,添加以下规则并重新启动Nginx
rewrite ^/sitemap.xml$ /sitemap.php last;
Apache:编辑。Htaccess网站root目录,并添加以下规则
RewriteRule ^(sitemap)\.xml$ $1.php
纯静态格式
Linux定时任务+WGet定时生成sitemap.xml(此方案适用于VPS用户,不适用于虚拟主机)
将网站root目录中的sitemap.php重命名为只有您知道的php文件,例如xml.php
然后使用Linux计划任务执行以下命令,然后将数据保存为sitemap.xml并存储在网站root目录中
是通往PHP的路径
/Home/www//sitemap.xml是xml文件的存储路径
这样就解决了sitemap.xml是动态数据的问题