动态网页抓取(网站一把发现收录和百度快照还是正常的问题)

　　动态网页抓取(网站一把发现收录和百度快照还是正常的问题)

　　今天访问了网站网站，发现收录和百度快照还是正常的，但同时我也发现了一个奇怪的问题。我发现很多 收录 页面都是动态页面。在@网站上线之前，广州seo也修改了文章的网址，全部改成静态地址，但是今天发现有些页面没有实现。更奇怪的是，收货当天是静态的，几天后又变回原来的动态网址。这是怎么回事？

　　听同事说这个必须在网站robots.txt中设置，防止蜘蛛爬取动态页面，不知道是否可行。robots.txt 中的命令是这样写的：

　　用户代理： *

　　不允许： /？

　　其中一些命令是为了禁止爬取一些不必要的内容，以免蜘蛛过度爬取，同时网站的权重也不会太分散，有利于百度收录，更有利于让一些内容更受到搜索引擎的关注：

　　用户代理： *

　　禁止：/wp-

　　允许：/wp-content/uploads/

　　禁止：/feed

　　禁止：饲料

　　禁止：/trackback

　　禁止：引用

　　禁止：/index.php？

　　禁止：/index.php/

　　禁止：/*.php$

　　禁止：/*.css$

　　不允许：/日期/

　　禁止：/page/

　　在做网站优化的同时，要善于发现问题，分析不同的问题。在网站的SEO优化过程中，你会不断发现问题，同时增加你对SEO的基础知识。在这个过程中，实战能力越来越强。