如何解决搜索引擎禁止的方式优化网站的模板和结构

　　如何解决搜索引擎禁止的方式优化网站的模板和结构

　　搜索引擎禁止的方式优化网站的模板和结构，对ip进行严格的限制.模板方面，必须在站内增加白名单，列出禁止外部站点访问的网站名单。对域名要求增加重复域名检测指令。增加cookie/domainkey指令。如果对外部站点开放/禁止外部站点访问，会导致收录量降低，但网站的排名会提高，原因是，外部站点提供了搜索关键词的机会，如果域名被注册，会导致大量的外部站点提供了搜索关键词。

　　站内进行优化的另一种方式是对目标关键词进行分析和调整，提高其相关性和相关度，这样就限制了访问相关外部网站的机会。搜索引擎禁止是用cookie方式，但实际上，cookie的利用不尽方便。可以使用正则文本提取的方式，解决搜索引擎对cookie的识别。参考我的一个回答：。

　　站在巨人的肩膀上，增加网站内容，增加内容更新的频率，

　　慢慢来，

　　可以看看我的网站，是通过用正则写程序来进行屏蔽的。

　　可以把网站域名改成和墙外站点相同或者类似，或者干脆用domainaddress站。之前看过一个说法是，domainaddress限制了f3的能力，使得f3搜索不到更多的内容。而正则判断多个网站ip，则只能被一个网站抓取。

　　其实，一直都是采用标签一样的情况，因为搜索引擎不可能不知道你用正则去搜索这些关键词是想要达到什么目的，或者类似于正则一样的工具能够帮你做到。毕竟在百度的算法当中，有你想达到的目的，所以相对于正则来说，搜索引擎似乎判断你的目的更容易一些。不过，在搜索领域正则本身也有很多的处理办法，最简单的就是改成类似于正则那样的表示，比如anybody的特殊表示就是只限定具有anyman的目标页的ip地址。

　　至于怎么搜索怎么针对具体ip地址地址而使用正则就看正则给你带来的影响了。还有，如果非要用正则完成爬取，那么可以用x-request-post来命令。看不懂的话可以复制黏贴一下，上面的都是自己最近用正则做的处理，应该没有什么歧义。