搜索引擎禁止的方式优化网站自身搜索结果具体情况分析

　　搜索引擎禁止的方式优化网站自身搜索结果具体情况分析

　　搜索引擎禁止的方式优化网站自身搜索结果，

　　1、给自己网站加上代码正则表达式，

　　2、增加网站安全机制。

　　3、创建基于索引数据库的索引。增加r语言\python\graphql\cookiejar等库，把浏览器浏览过的所有网站数据存储到数据库。

　　4、创建信息可靠的抓取。利用检测、开发、策略分析等各种算法，采集更多、更便宜的用户数据。

　　这得具体情况具体分析，你可以参考看看我之前做的一个新浪博客，选择一个合适的路径引入，简单说一下该如何进行。1.不是直接将所有的用户数据都上传，可以选择稍微少一点的，保留几个核心大型站点，主要包括部分头部和部分尾部页面。前期建议采用php作为服务器，服务器负载低一些，稳定。开始用php来处理大型新闻站，先跑起来可以跑测试跑接口等。

　　2.采用独立存储，也可以用mongodb等非关系型数据库（后面采用scrapy等框架的话建议用redis）3.可以打tp做二次开发，也可以对接php的api，当然这块主要看你做的什么项目，如果做的是scrapy爬虫建议走scrapy，不仅仅是能用scrapy还要你的项目能实现接口管理，简单来说先根据项目架构设计程序，一般是scrapy，不会计划直接就设计tp的话，都要先做好架构再用scrapy。

　　然后开始开发应用了，详细过程你可以参考我之前的博客，比较简单的是scrapy+tp，scrapy用tomcat安装即可，tp这个你去看其他爬虫建议用到相关框架的。