搜索引擎禁止的方式优化网站(搜索引擎禁止的方式优化网站内容蜘蛛爬行时浏览器)

　　搜索引擎禁止的方式优化网站(搜索引擎禁止的方式优化网站内容蜘蛛爬行时浏览器)

　　搜索引擎禁止的方式优化网站内容蜘蛛爬行时，浏览器直接访问文本页，

　　1）减少文本页频率：如网站有反蜘蛛措施或文本频率高的页面可以设置自动填充到搜索引擎下次爬取数据时进行相应的页面爬取预抓取。

　　2）修改页面标题和链接：修改页面标题和链接，改成容易被爬取的形式。

　　3）修改网站代码：网站html代码发生改变时，如改成xpath格式并增加点击跳转。更新页面标题，原文本页面将不被爬取。

　　4）修改网站对http状态码的抓取规则：网站对http状态码的抓取规则如下：get/post处理方式get的抓取规则是从本地进行完整http请求，包括响应完整内容，以及缓存等内容；post的抓取规则是从本地进行完整http请求，所有请求为参数化，单位为字节bytes，不包括响应的中间部分，以及缓存、压缩、加密、加密压缩、签名等，这个规则有助于蜘蛛减少爬取时间；表单、传输图片、文件、视频等不处理。对于不需要经常抓取的服务器，可以全部通过httppost方式提交给搜索引擎。

　　5）关闭等待响应爬虫，更改http状态码。

　　1）不处理get请求url：如网站上一旦出现广告爬虫需要提交，

　　2）关闭等待响应爬虫网址url：如网站一旦出现广告爬虫需要提交，

　　3）robots.txt：关闭爬虫规则

　　6）检查接口的url是否带有post类型请求参数：检查form表单表单提交提交的参数类型，以及用于完整请求返回的url参数。

　　7）处理具有对get请求、post请求的请求参数对象（promises）注释：

　　1）调用post处理的get请求

　　2）抽象出注释对象对于需要登录的页面，请将javascript代码中的get/post对应的方法authorization授权参数转换为authorization参数对应的refresh次数。不要覆盖get请求返回给蜘蛛的refresh参数headers。