php可以抓取网页数据吗(蜘蛛爬行、页面收录及排序算法的问题或瓶颈(图))

　　php可以抓取网页数据吗(蜘蛛爬行、页面收录及排序算法的问题或瓶颈(图))

　　搜索引擎是指一种蜘蛛程序，它沿着链接对互联网上的大量网页内容进行爬取和爬取，存入数据库，通过复杂的算法对其进行预处理，并建立网站索引目录。用户在搜索框中输入关键词后，搜索引擎通过相关排序算法从索引数据库中找到最符合用户需求的页面，并按照一定的权重展示给用户的过程。蜘蛛爬行、页面收录 和排序都是自动处理的。

　　搜索引擎面临的问题或瓶颈

　　1、用户在搜索内容时必须反应灵敏且准确。在互联网页面的世界里，每天都有无数的页面被创建、更新、删除，而返回最有用和最新的内容是一项巨大而乏味的挑战。搜索引擎蜘蛛需要很长时间才能更新一次数据库中的页面。时间。所以，为了提升用户体验，保证搜索质量，搜索引擎对网站的权重，无论是官方认证，历史快照，搜索频率等都进行了预处理，所以再优秀网站 被搜索引擎收录 出现在搜索结果和蜘蛛爬取过程中需要一段时间。

　　2、 海量数据存储。除了海量的网页需要蜘蛛去爬，网站的结构也需要蜘蛛去记忆，复杂冗余，逻辑上纠缠的网站逻辑会降低蜘蛛的爬取效率，而蜘蛛在数据库中建立索引等过程中，引擎蜘蛛通过权重分配、信任外链、网站目录提交等方案提高收录引擎蜘蛛的效率。因此，如果网站长时间没有被搜索引擎收录搜索，seoer需要检查网站的内部链逻辑是否过于复杂，导致长蜘蛛爬行过程。

　　3、索引处理快速、高效且高度可扩展。引擎蜘蛛爬取存储后，需要用复杂的算法进行过滤过滤，提取关键词并计算相关性，然后以树的形式存储，但网站会随时更新，而索引数据也需要响应这些Updates，重新计算依赖和索引，从而对引擎服务器性能提出更高的挑战。

　　4、确定用户意图和人工智能。前几个可以通过开发一定的算法和硬件来有效解决。用户意图的智能识别仍处于机器学习阶段，这也是搜索引擎公司未来的发展方向。随着大数据和区块链技术的不断完善，搜索引擎会更好的理解你，所以网站如果更好的理解搜索引擎，也会间接的更好的理解用户！

　　搜索结果显示

　　搜索结果页面的主体有两部分，一部分是广告，另一部分是自然搜索结果。广告和推广部分一般位于页面右侧和前几条搜索结果中，并会在结果末尾标明“广告”或“赞助链接”。正常情况下，右侧最多8个广告，上部3个广告。

　　搜索广告在网络营销行业中通常被称为 PPC。广告商为某些 关键词 出价并为点击付费。有精准营销的思维。受到大多数公司的欢迎。

　　SEOers 最关心自然搜索结果。统计显示，自然搜索结果的总点击量远大于广告点击量，因此seo在企业网络营销效果中起着重要作用。

　　搜索引擎会根据权重对网站的呈现方式做一些调整，让用户可以直接进入目标页面，同时也为网站导入巨大的流量资源，一般包括标题摘要、缩略图标题摘要，二级页面缩进列表，站点范围的链接，迷你站点范围的链接，独立面板一框，丰富的片段，面包屑等等。

　　搜索引擎如何工作

　　搜索引擎的工作原理非常复杂，大致可以分为三个阶段：爬取爬取、预处理、排名。

　　爬行和爬行

　　引擎蜘蛛通过跟随链接访问网页，获取页面的HTML代码并存入数据库。

　　搜索引擎用来抓取和访问页面的程序称为蜘蛛，也称为机器人。

　　搜索引擎直接通过网站地址获取网站信息模拟用户，获取信息后将代码存入原创页面数据库。为了提高爬取数据和爬取效率，会同时使用多个爬虫进行分布式爬取。

　　访问站点时，会先嗅探站点根目录下是否有robots.txt文件。蜘蛛读取该文件后，根据该文件的协议访问整个站点。没有这个文件，蜘蛛默认访问整个站点。

　　搜索引擎会标记自己的访问身份，您可以在后台日志中找到搜索引擎的爬取痕迹。

　　搜索引擎一般采用两种策略爬取整个站点：1.深度优先；2. 广度优先；通常两种策略的组合可以照顾不同类型的网站。

　　理论上蜘蛛可以爬取所有页面，但实际上蜘蛛爬取会有自己的边界和规则。seoer的主要职责是适应蜘蛛爬取规则，尽可能让蜘蛛收录自己的站点信息。

　　为了避免重复爬取和爬取网址，搜索引擎会建立一个地址库来记录和查找未被爬取的页面，以及已经被爬取过的页面。地址库中URL的来源一般有以下几种情况：

　　1、手动输入的 torrent 网站。

　　2、将爬取解析出来的网站外部链接与地址库中的数据进行对比。如果地址库不存在，则为新网站。

　　3、站长通过搜索引擎网页提交表单提交的URL。

　　预处理

　　索引程序对抓取的页面数据进行文本提取、中文分词、网站层次分析、索引建立。

　　获取到网站的内容后，蜘蛛会做以下事情：

　　1、提取关键字，通过解析代码找到内容块，按分类和权重存储。

　　2、中文分词，分词是中文搜索的独特一步。搜索引擎存储和处理页面，用户搜索是基于单词的，而英文自然是用空格分隔的，这样可以有效地进行含义识别。中文分词一般有两种方法：基本字典数据库匹配和统计数据匹配。

　　3、去停词，不管是英文还是中文，都会有一些出现频率很高但对内容意思没有影响的词，比如'的'、'地'等. 在英语中，如'the'、'a'、'an'等。这些词对用户的意思识别没有帮助，消除后服务器的检索压力会减轻。

　　4、去除噪音，部分内容对网站的常规内容没有贡献，但对网站的产品或主题没有贡献，如版权声明文字、导航栏、广告等. 剔除。

　　5、去重，分词操作后，站点中会重复出现一些意思相近的词，但代表的意思相同，所以需要对这些词进行分类去重。

　　6、正向索引，对文本逐层过滤后，搜索引擎得到一个能够反映页面主要内容的唯一内容集合，以单词为单位。根据词频提取关键词，并以权重存储在数据库中。按层次顺序建立的关键字索引库是前向索引。

　　7、倒排索引，通过关键词对出现关键词的文件进行排练和组合，形成一个文件索引列表，这称为倒排索引，可以用于用户搜索。

　　8、链接关系计算，是预处理的重要环节。现在所有的主流搜索引擎排名因素都收录网页之间的链流信息。通过这些链信息进行权重计算，谷歌PR值就是这种关系价值的体现。

　　9、特殊文件处理，对于html文件以外的文件类型，引擎蜘蛛没有办法识别，所以会被淘汰。

　　排行

　　用户输入关键词后，排名程序会计算相关度，得到关键词矩阵，然后通过索引获取站点信息，按照一定的格式生成搜索结果页面。

　　排名的过程是与用户交互的过程。引擎智能会根据历史搜索和当前搜索进行关联匹配，得到最优的搜索结果并呈现给用户。

　　1、查词处理，查词处理①中文分词②停用词去除③指令处理④拼写纠正⑤集成搜索触发。

　　2、文件匹配，经过处理，搜索引擎得到一些关键词的集合，通过索引找到收录关键词的文件，计算相关度进行排序。

　　3、初始子集选择，因为搜索结果是海量文件，通常搜索结果页面只显示前100条，百度会返回近1000条记录，根据权重查找最多1000条文件记录，作为初始过滤器集。

　　4、相关性计算，计算相关性是排名过程中最重要的一步，也是seoer优化的重点。①关键词流行度，使用历史搜索计算关键词的流行度。②词频和密度。一般认为，关键词在没有关键词堆叠的文档中出现的频率越高，相关性就越高。③关键词位置和形式，是否出现在页面权重高的位置，比如title，H1、strong等，也是前端需要优化的重点区域. ④关键词距离，出现分词计算后关键词的完全匹配，表示最相关，其次是分词后两个词的距离。⑤链接分析和页面权重。除了页面本身的因素外，页面的外部链接也有很大的影响。外部链接权重越高，关键词 的值越高，页面上以搜索词为锚文本的传入链接越多。描述页面越相关。

　　5、排名过滤和调整。经过相关性计算，确定了总体排名。之后，搜索引擎可能会执行一些过滤算法来略微调整排名，其中最重要的是对作弊网站进行处罚。

　　6、排名展示，排名确定后，排名程序会调用原页面的title标签、description标签、快照日期等数据在页面上展示，有时需要动态一个页面摘要生成。

　　7、搜索缓存，用户的关键词在一段时间内经常重复。根据 28 定律和长尾理论，最常见的搜索词不占 80% 之多，但通常会有比较。对于粗头，为了提高搜索效率，引擎会缓存热词。用户搜索时，可以直接从缓存数据中检索，无需再次进行相关性计算，大大提高了搜索效率。

　　8、查询和点击日志，用户的搜索行为会被记录在日志中。这些日志对搜索结果的质量起着重要作用。引擎会自动计算相关权重，影响下一次搜索的排名，所以好的网站是持续流量的基石。

　　搜索链接的算法原理

　　基于一个假设：好的网站很少会链接到不好的网站，反之，很多垃圾网站会链接到高权威、高信任的索引网站@ > ，试图提高自己的信任指数。用现代术语来说，它是信用背书。使用信用背书可以提高你的网站的权重，获得更好的排名。排名算法的占比越来越高，seoer要注意站点中外链的布局以及自己站点被外链引用的频率。

　　高级搜索命令

　　1、将搜索词放在双引号中，表示完全匹配不进行分词，甚至序列也必须完全匹配。百度和谷歌都支持这个指令。例如：“和平是我的梦想”

　　2、减号，减号（-）表示搜索不收录减号后面的单词的内容。使用该命令时，减号前面必须有一个空格，减号后面不能有空格，后面是要排除的词。谷歌和百度都支持这个指令。

　　3、星号，星号（*）是常用的通配符，也可用于搜索。百度不支持星号匹配。

　　4、inurl，用于搜索查询词出现在url中的页面。百度和谷歌都支持 inurl 指令。

　　5、inanchor，该命令返回的结果是导入链接文本中收录搜索词的页面。百度不支持。

　　6、intitle，命令返回的页面的title标签中收录的关键词页面。百度和谷歌和百度都支持这个指令。

　　7、allintitle，返回页面title标签同时收录多个关键词的结果页面，eg: allintitle: SEO大全

　　8、allinurl，返回地址收录多个关键词的结果页面，例如：allinurl admin login。

　　9、filetype，该命令用于搜索特定格式的文件，google和百度都支持，eg：filetype:doc辣鸡，百度目前只支持pdf、doc、xls、ppt、rtf、all等格式，并且谷歌支持所有可以索引的文件格式，包括html、php等。

　　10、site，这个命令是seoer最熟悉的高级搜索命令。它用于搜索某个域名下的所有文件。此命令是查询 网站收录 页面最有效和最直接的方法。方法。但是site: 说明并不准确，尤其是在谷歌中，返回的收录页面经常波动很大，只能作为参考。

　　11、link，使用该命令搜索一个url的反向链接，包括内部链接和外部链接。