php 抓取网页内容(什么是搜索引擎蜘蛛？搜索引擎是如何通过蜘蛛对网站进行收录和排名的)

　　php 抓取网页内容(什么是搜索引擎蜘蛛？搜索引擎是如何通过蜘蛛对网站进行收录和排名的)

　　我们都知道网络推广的最终目的是带来流量、排名和订单，所以最关键的前提是搜索引擎能做好你的网站和文章收录 . 然而，当面对收录的效果不佳时，很多小伙伴不知道为什么，很大程度上是因为他们不了解一个关键点——搜索引擎蜘蛛。蜘蛛

　　一、什么是搜索引擎蜘蛛？

　　搜索引擎 收录 和 网站 是如何通过爬虫来排名的？我们怎样才能提高蜘蛛爬行的效果呢？

　　的确，用白话理解，互联网可以理解为一个巨大的“蜘蛛网”，搜索引擎蜘蛛类似于实际的“机器人”。

　　蜘蛛的主要任务是浏览庞大的蜘蛛网（Internet）中的信息，然后将信息抓取到搜索引擎的服务器上，建立索引库。这就像一个机器人浏览我们的 网站 并将内容保存到它自己的计算机上。

　　每个独立的搜索引擎都会有自己的网络爬虫爬虫。蜘蛛爬虫跟随网页中的超链接分析，不断访问和爬取更多的网页。抓取的网页称为网页快照。不用说，搜索引擎蜘蛛会定期抓取网页。

　　如下：

　　1.权重优先是指先链接权重，然后结合深度优先和广度优先策略进行抓取。例如，如果链接的权重还不错，则先使用深度；如果重量非常低，请先使用宽度。

　　2.蜘蛛深度爬取是指蜘蛛找到要爬取的链接，一直往前走，直到最深的层次不能再爬取，然后回到原来的爬取页面，再爬取下一个链接的过程. 就像从网站的首页爬到网站的第一个栏目页，然后通过栏目页爬取一个内容页，然后跳出首页，再爬到第二个网站.

　　3.蜘蛛广度爬取是指蜘蛛爬取一个页面时存在多个链接，而不是一个链接的深度爬取。然后爬取所有栏目页下的二级栏目或内容页，也就是逐层爬取的方式，而不是一层一层的爬取方式。

　　4.可以从字面上理解。因为搜索引擎主要使用单次重访和完整重访。所以我们在做网站内容的时候，一定要记得定期维护每日更新，这样蜘蛛才能更快的访问和爬取更多的收录。蜘蛛

　　二、搜索引擎蜘蛛如何爬取，如何吸引蜘蛛爬取页面

　　搜索引擎的工作过程大致可以分为三个阶段：

　　(1)爬取和爬取：搜索引擎蜘蛛通过跟踪链接发现和访问页面，读取页面的HTML代码，并将其存储在数据库中。

　　(2)预处理：索引程序对抓取到的页面数据进行文本提取、中文分词、索引、倒排索引，供排名程序调用。

　　(3)排名：用户输入查询词(关键词)后，排名程序调用索引数据，计算相关度，然后生成一定格式的搜索结果页面。

　　搜索引擎如何工作 爬取和爬取是搜索引擎完成数据采集任务的第一步。搜索引擎用来抓取页面的程序称为蜘蛛

　　一个合格的SEOer，如果他想让他的更多页面成为收录，他必须设法吸引蜘蛛爬行。

　　蜘蛛抓取页面有几个因素：

　　（1)网站和页面的权重，质量高、时间长的网站一般认为权重高，爬取深度高。会更多。

　　(2)页面的更新频率，蜘蛛每次爬取都会存储页面数据。如果第二次和第三次爬取和第一次一样，说明没有更新。随着时间的推移，蜘蛛不会频繁爬取你的页面，如果内容更新频繁，蜘蛛会频繁访问该页面以爬取新页面。

　　(3)传入链接，无论是内部链接还是外部链接，为了被蜘蛛抓取，必须有一个入站链接才能进入该页面，否则蜘蛛将不知道该页面的存在。

　　(4)到首页的点击距离，一般网站上权重最高的就是首页，大部分外链都会指向首页，所以访问频率最高的页面是spiders是首页，点击距离越近，页面权限越高，被爬取的几率越大。

　　吸引百度蜘蛛 如何吸引蜘蛛爬我们的页面？

　　坚持经常更新网站内容，最好是高质量的原创内容。

　　主动将我们的新页面提供给搜索引擎，让蜘蛛更快找到，比如百度的链接提交、爬取诊断等。

　　搭建外部链接，可以和相关网站交换链接，可以去其他平台发布指向自己的优质文章页面，内容要相关。

　　制作网站maps，每个网站应该有一个sitemap，网站所有页面都在sitemap中，方便蜘蛛抓取。

　　三、搜索引擎蜘蛛SPIDER爬不起来的原因分析

　　1.服务器连接异常

　　服务器连接异常有两种情况：一种是网站不稳定，百度蜘蛛在尝试连接你的网站服务器时暂时无法连接；另一个是百度蜘蛛一直无法连接到你的网站服务器。

　　服务器连接异常的原因通常是你的网站服务器太大，过载。您的 网站 也可能运行不正常。请检查网站的web服务器（如apache、iis）是否安装并运行正常，并使用浏览器检查主页是否可以正常访问。您的网站 和主机也可能阻止了百度蜘蛛的访问，您需要检查您的网站 和主机的防火墙。

　　2.网络运营商异常

　　网络运营商有两种：中国电信和中国联通。百度蜘蛛无法通过中国电信或中国网通访问您的网站。如果出现这种情况，需要联系网络服务运营商，或者购买双线服务空间或者购买cdn服务。

　　3.DNS 异常

　　当百度蜘蛛无法解析您的 网站 IP 时，会出现 DNS 异常。可能你的网站IP地址不对，或者域名服务商封杀了百度蜘蛛。请使用 WHOIS 或主机检查您的 网站IP 地址是否正确且可解析。如果不正确或无法解决，请联系域名注册商更新您的 IP 地址。

　　4.IP 阻塞

　　IP禁令是：限制网络的出口IP地址，禁止该IP段的用户访问内容，这里专门禁止百度spiderIP。仅当您的网站 不希望百度蜘蛛访问时才需要此设置。如果您想让百度蜘蛛访问您的网站，请检查相关设置中是否误添加了百度蜘蛛IP。也有可能是你网站所在的空间服务商封杀了百度IP。在这种情况下，您需要联系服务提供商更改设置。

　　5.UA 被禁止

　　UA即User-Agent，服务器通过UA识别访问者。当网站返回异常页面（如402、500）或跳转到其他页面进行指定UA的访问时，属于UA封禁。当你的网站不想百度时这个设置只有蜘蛛访问需要，如果你想让百度蜘蛛访问你的网站，请检查useragent相关设置中是否有百度蜘蛛UA，并及时修改。

　　6.死链接

　　已经无效且无法为用户提供任何有价值信息的页面为死链接，包括协议死链接和内容死链接两种形式。协议死链接，通过页面的TCP协议状态/HTTP协议状态明确表示的死链接，如404、402、502状态等；内容死链接，服务器返回状态正常，但内容已更改为不存在、已删除或需要权限等与原创内容无关的信息页面。

　　对于死链接，我们建议网站使用协议死链接，通过百度站长平台-死链接工具提交给百度，这样百度可以更快的找到死链接，减少死链接对用户和搜索引擎的负面影响。

　　7.异常跳转

　　将网络请求重定向到另一个位置是跳转，异常跳转是指以下几种情况。

　　1.当前页面为无效页面（内容已被删除、死链接等），直接跳转到上一个目录或首页。百度建议站长删除无效页面的入口超链接。

　　2.跳转到错误或无效页面。

　　Tips：对于长时间跳转到其他域名的情况，如网站换域名，百度推荐使用201跳转协议进行设置。

　　8.其他异常

　　1.百度referrer异常：网页返回的行为与来自百度的referrer的正常内容不同。

　　2.百度UA异常：网页返回百度UA的行为与页面原创内容不同。

　　3.JS跳转异常：网页加载了百度无法识别的JS跳转代码，导致用户通过搜索结果进入页面后跳转。

　　4.压力过大导致的意外封禁：百度会根据网站规模、流量等信息自动设置合理的抓取压力。但在异常情况下，如压力控制异常时，服务器会根据自身负载进行保护性的偶尔封禁。在这种情况下，请在返回码中返回 502（表示“服务不可用”），这样百度蜘蛛会在一段时间后再次尝试抓取链接。如果 网站 是空闲的，它会被成功抓到 Pick。蜘蛛

　　四、使用蜘蛛池尽快让新的网站成为收录

　　根据多年搜索引擎营销推广的工作经验，当一个新网站接入搜索引擎时，就会进入沙盒期。一些新网站能够迅速被搜索引擎所利用，关键是能够在短时间内走出沙盒期。收录以下元素：

　　1、技术装备

　　我们知道搜索引擎的收录越来越方便快捷，一般人必须把网站标准化为SEO。从技术角度来看，您必须：

　　① 非常重视网页的客户体验，包括视觉效果和网页的加载率。

　　②创建站点地图，优先考虑网页，合理流式传输相关URL。

　　③ 配备百度熊掌ID，可以快速向百度搜索官方网站提交优质网址。

　　内容，对于新站来说，是必备的标准化设备。

　　使用蜘蛛池加速新的 网站收录

　　2、网页质量

　　对于搜索引擎收录，网页的质量是主要的评估标准。理论上，它是由几个层次组成的。对于这些收入比较快的新网站网站，除了做百度网址提交之外，还重点关注以下几个方面：

　　①时事

　　对于新站来说，如果想让搜索引擎收录越来越快，经过多年的具体测试，人们发现更容易快速收录制造业的热门新闻.

　　他的及时搜索关键词 量会很高，或相对平均，但这不是关键因素。

　　②主题内容

　　从专业和权威的角度，设置一个网站内部的小专题讲座，可以最大程度的和某个制造业进行讨论，最重要的是相关的内容，一般是多水平有机化学成分。

　　例如：来自KOL的意见、多年制造业组织权威专家的总结、其社会发展科研团队对相关数据和信息的应用等。

　　③内容多样化

　　对于网页的多样化，通常由多媒体系统元素组成，比如：小视频、数据图表、高清图片等，这些都是视频的介入，显得很重要。

　　使用蜘蛛池加速新的 网站收录

　　3、外部资源

　　对于搜索引擎收录来说，这里人们所指的外部资源一般是指外部链接。如果你发现一个新网站在早期发布，它的收录和排名会迅速上升，甚至是垂直、折线类型的指数值图，那么关键元素就是外部链接。

　　这不一定是基于高质量的反向链接，在某些情况下也是基于总数，人们普遍建议选择前一种。蜘蛛

　　4、站群排水方式

　　站群，即一个人或一个群体实际上操作了几个URL，目的是为了根据搜索引擎获得大量的总流量，或者偏向同一个URL的连接以提高自然排名。从2005年到2012年，一些中国SEO人员明确提出了站群的定义：几个单独的网站域名（包括二级域名）之间的统一管理方式和关系。2008年初，站群软件开发者开发设计了一种更实用的URL采集方式，即根据关键字进行网站内容的自动采集。以前的采集方法是写标准方法。

　　5、蜘蛛池排水法

　　蜘蛛池是由网站 域名组成的一堆站群。在每一个网站下，都转换成大量的网页（一堆文字内容相互组成），页面设计和一切正常网页没有太大区别。因为每个网站都有大量的网页，搜索引擎蜘蛛爬取所有站群的总量也是巨大的。将搜索引擎蜘蛛引入非收录的网页，就是在站群所有普通网页的模板中打开一个单独的DIV。插件外没有收录网页连接，而且web服务器也没有设置缓存文件，每次搜索引擎蜘蛛浏览，DIV中呈现的这方面的连接都是不同的。简而言之，