抓取网页数据违法吗(一个文档的主要功能是什么？如何正确的处理技术)

　　抓取网页数据违法吗(一个文档的主要功能是什么？如何正确的处理技术)

　　搜索器的主要作用是根据用户输入的关键词在索引器形成的倒排列表中进行搜索，同时完成页面与搜索的相关性评价，将结果排序为被输出，并实现一定的用户相关反馈机制。

　　通常通过搜索引擎获得成百上千的检索结果。为了获得有用的信息，一种常用的方法是根据网页的重要性或相关性对网页进行排名，并按照相关性进行排序。这里的相关性是指文档中出*敏*感*词*额较高时，文档被认为更相关。可见性也是常用的指标之一。网页的可见性是指指向网页门户的超链接数量。可见性方法基于这样的思想，即一个网页被其他网页引用的次数越多，它就越有价值。尤其是，一个网页被一个网页引用的越重要，该网页就越重要。结果处理技术可以概括为：

　　（1)按频率排序，一般来说，一个页面收录的关键词越多，应该与搜索目标越相关，这是一个非常合理的解决方案。

　　(2)按页面访问量排序在这种方法中，搜索引擎会记录它所搜索的页面被访问的频率。人们访问频率越高的页面应该收录更多的信息，或者具有其他吸引人的优势。这个解决方案适合一般搜索用户，而且由于大部分搜索引擎不是专业用户，所以这个方案也比较适合一般搜索引擎。

　　（3)二次搜索进一步提纯（相比于flne）结果，根据一定条件优化搜索结果，然后可以选择类别和相关词进行二次搜索等。

　　由于搜索引擎还不智能，所以排名第一的结果不一定是“最佳”结果，除非您知道要查找的文档的标题。因此，有些文档虽然相关度很高，但不一定是用户最需要的文档。