网站持久不更新蜘蛛也不会光顾，怎么办？

　　网站持久不更新蜘蛛也不会光顾，怎么办？

　　（[1）手动输入*敏*感*词*网站

　　建立新网站后，将URL提交给百度，谷歌或360 收录。

　　（[2）蜘蛛抓取页面

　　蜘蛛在解析html时找到新的URL时，会将新的URL存储在要访问的数据库中。

　　（3）由网站站长提交网站

　　提交网站只是将网站保存在要访问的数据库中。如果未更新网站，则不会光顾蜘蛛网。搜索引擎收录的页面都是由蜘蛛根据链接本身获得的。

　　1. 3. 4预处理

　　“预处理”也简称为索引，因为索引是预处理的最重要步骤。通常会在此阶段完成蜘蛛检测和复制内容的删除。

　　1. 3. 4. 1提取文字

　　搜索引擎预处理的第一件事是从HTML文件中删除标签和程序，以提取可用于排名处理的网页文本内容。

　　除了可见文本之外，搜索引擎还将提取一些收录文本信息的特殊代码，例如Meta标签中的文本，图片的替代文本，Flash文件的替代文本以及链接锚文本。

　　1. 3. 4. 2汉语分词

　　英语等语言中的单词和单词之间有空格，句子可以直接分为单词组，而中文不能。

　　有两种分割单词的方法：

　　（[1）基于字典的匹配

　　匹配一个要分析的汉字，并在预建词典中输入一个条目。从要分析的中文字符串扫描字典中的现有条目将成功匹配，或拆分一个单词。

　　（[2）基于统计数据

　　分析大量文本样本，并计算单词彼此相邻出现的统计概率。彼此相邻出现的单词越多，形成单词的可能性就越大。

　　优点：它对新词的反应更快，有助于消除歧义。

　　实际上，这两种分词方法是利用各自的优势混合在一起的。快照只能大致帮助判断单词分割。分词的效果取决于词典的大小和算法。

　　1. 3. 4. 3停用单词

　　在中文和英文中，会经常出现一些感叹词，副词或介词，例如“地”，“的”，“，”，“等”，它们对页面，应将其删除。

　　1. 3. 4. 4消除噪音

　　“噪音”：对网页主题没有任何影响，例如版权声明，导航栏，广告等。

　　消除噪声的基本方法：根据HTML标签将页面分为多个块，区分页眉，导航，正文，页脚，广告等，网站上的大量重复块通常是噪声。

　　1. 3. 4. 5重复数据删除

　　同一文章文章通常出现在不同的网站和相同的网站不同的URL上。搜索引擎必须识别并删除重复项。

　　重复数据删除的基本方法-计算页面特征关键词的指纹：

　　从页面的主要内容中选择最具代表性的部分关键词（多数是频率最高的关键词），然后计算这些关键词的数字指纹。

　　在分词，停止单词删除和降噪后选择此处的关键词。通常选择10个特征关键词具有更高的准确性。

　　典型算法是MD5算法。

　　1. 3. 4. 6前向索引

　　经过上述处理，您可以提取关键词，根据分词程序对单词进行分割，将页面转换为关键词的集合，并在关键词上记录每个关键词的频率和出现次数页面，格式（例如标题标签，粗体字，H标签，锚文本等），位置（例如页面的第一段等）

　　1. 3. 4. 7倒排索引

　　前向索引不能直接用于排名。搜索引擎会将前向索引数据库重建为反向索引，并将从文件到关键词的映射转换为从关键词到文件的映射。

　　1. 3. 4. 8链接关系计算

　　搜索引擎获取页面内容后，必须预先计算：页面上的哪些链接指向其他页面，哪些链接在每个页面上导入以及链接使用的锚文本。这些复杂的链接指向关系形成网站和页面的链接权重。

　　1. 3. 4. 9特殊文件处理

　　搜索引擎通常可以抓取和索引各种基于文本的文件类型，例如PDF，Word，WPS，XLS，PPT，TXT文件等。

　　1. 3. 5排名1. 3. 5. 1个搜索词处理

　　搜索引擎收到用户输入的搜索词后，需要先处理搜索词，然后才能进入排名过程。

　　例如，名人的名字经常触发图片和视频内容，而当前的热门话题可以轻松触发信息内容

　　1. 3. 5. 2个文件匹配

　　查找收录所有关键词的文件，倒排索引可使文件匹配快速完成。

　　1. 3. 5. 3选择初始子集

　　找到收录所有关键词的匹配文件后，便无法执行相关计算，因为通常会找到数十万，数百万甚至数千万的文件。

　　大多数用户将只查看前2页，即前20个结果。搜索结果页面最多可以显示100个页面，共有1000个结果，因此搜索引擎只需要计算前1000个结果的相关性即可。

　　1. 3. 5. 4计算相关性

　　选择初始子集后，计算子集中页面上关键词的相关性。

　　例如，当搜索“减肥方法”时，页面上连续且完整地出现的四个单词“减肥方法”是最相关的。如果“减肥”和“方法”不连续匹配，但看起来更接近，则它也被认为更相关。

　　1. 3. 5. 5排名过滤器调整

　　添加惩罚机制以针对基本确定的排名微调排名

　　1. 3. 5. 6排名显示1. 3. 5. 7搜索缓存

　　每次搜索都无法重新处理排名，因此最常见的搜索词将存储在缓存中，并且用户在搜索时会直接从缓存中调用它们。

　　1. 3. 5. 8记录用户查询并单击日志1. 3. 6链接原理

　　在排名中收录链接因素不仅有助于减少垃圾邮件并提高结果的相关性，而且还可以处理无法通过传统关键词匹配进行排名的文件。例如，图片和视频文件无法与关键词匹配，但是可能存在外部链接。通过链接信息，搜索引擎可以了解图片和视频的内容并对它们进行排名。

　　1. 3. 7 HITS算法

　　HITS算法将提取两个重要页面-集线器页面和授权页面。

　　枢轴页面：可能没有很多导入链接，但是有许多指向权威页面的导出链接。如Hao123互联网导航

　　权威页面：可能没有很多导出链接，但是从中心页面有很多导入链接。通常，该页面提供了真正相关的内容。

　　力争成为权威页面。如果它不能成为权威页面，则使其成为透视页面。因此，永远不要链接到其他网站的做法不是一个好的SEO方法。

　　1. 3. 8 TrustRank信任索引算法

<p>TrustRank算法的基本假设：好网站很少链接到差的网站，但是差的网站将链接到高权限和高信任指数网站，以尝试改善他们的信任指数。