蜘蛛爬行网站后,预处理(索引).蜘蛛抓取

　　蜘蛛爬行网站后,预处理(索引).蜘蛛抓取

　　蜘蛛爬取网站后，下一步就是预处理（索引）。蜘蛛抓取的原创页面不直接用于查询排名处理，而是在排名时先进行预处理以查询关键词。准备。预处理主要包括内容处理、中文分词、去重索引、用户体验判断等。

　　(1)内容处理

　　内容处理包括四个方面：提取网页文本信息、处理特殊文件、去噪和去除停用词。

　　一个。搜索引擎基于文本内容。预处理首先要做的是从蜘蛛抓取的HTML文件中去除标签和程序代码，提取出可用于排名处理的页面文本内容。

<p>B.特殊文件处理：搜索引擎可以抓取多种基于文本的文件类型，如Word、WPS、XLS.TXT文件等，但这些文件的排名仍然是根据与它们相关的文本内容。