php禁止网页抓取(网站地址：域名年龄：9年改版前没做过优化)

　　php禁止网页抓取(网站地址：域名年龄：9年改版前没做过优化)

　　网站地址：域年龄：9年前，改版前没做优化，相关页面几乎没有权重

　　问：2019年1月27日改版上线后，至2019年3月13日，指数成交量仅为24，现场结果为4。

　　操作记录：1、上线前几天删除了没有www的域名解析。

　　2、本次改版的模板发生了变化，网站的内容和结构与改版前有很大不同。网站上线时在百度资源平台提交修改，禁止php、css和*?*爬取，测试所有htm页面爬取正常，提交网站图成功识别164网页页面，然后手动提交一些网页链接，并将旧页面301到站点中的新页面，旧页面保留在服务器中并且不被删除。百度搜索资源平台上线后有一段时间没有更新索引，所以页面一直没有收录一直以为百度没有采取措施。

　　3、上线一个月后网站索引26（和改版前一样），siet结果是12，但是12很多都是新旧页面的重复，其实只有5个，查日志中，百度蜘蛛在2月1日左右爬取了大部分页面，此后爬取频率一直很低，而且大部分都是爬网站首页、旧页面和一些不重要的jpg，还有尽可能多的带有4040状态码的php页面，也就是很少爬取html。

　　4、咨询大兵先生后，修改了首页和栏目的标题和描述，把A品牌字的写法改成了AB，但是索引没有变。爬取频率每天7-10次，站点结果逐日递减。.

　　5、做了一些操作后，删除了服务器上的旧页面，取消了301，更新了几个文章，页面h2标签改为h3，栏目页面添加了标题和供调用描述，删除产品页面的电话号码，将产品页面的文件下载链接（之前点击直接下载文件）改为点击跳转到另一个页面进行下载。以上操作对索引和爬取频率没有影响。.

　　请老师帮忙分析下不收录的原因，并提出解决方案，谢谢！