2017搜索引擎优化规则(小众搜索引擎从业路过回答编写起来是不是难度特别大？)

　　2017搜索引擎优化规则(小众搜索引擎从业路过回答编写起来是不是难度特别大？)

　　利基搜索引擎经过回答。

　　写搜索引擎是不是特别难？

　　是的。据说难度最小的是我从来没有遇到过互联网级数据集的实时处理。爬虫很简单，路过就不提了。这里的指标是高门槛。虽然有各种开源方案（lucene、elastic等），但在遇到互联网规模的数据时，都不是很有用。大数据规模下的索引和实时检索（不过2000ms以内）可以说是核心技术之一。只有突破了这个技术门槛，才能真正独立开发出搜索引擎。

　　这就是为什么你可能经常看到自称是小众搜索引擎，最后显示的结果就是所谓的“聚合”搜索结果。结果都是百度搜狗360bing出的，因为他们自己解决不了最难的索引和检索。找别人的结果，这其实很可能违反了相应搜索引擎的用户协议。在大家认为很神奇的dogedoge之前，大部分结果都是对谷歌搜索结果的重新处理（增删改查等）。在我个人看来，我没有掌握搜索引擎的核心技术。（不知道有没有人知道强制下线的内幕，我只知道我在喝茶。）

　　总之，世界上只有少数易于使用的搜索引擎。在中国，百度拥有非常好的技术。这东西确实需要更深的技术积累。

　　经常看到这样一种说法，搜索引擎搜索到的东西只占互联网所有内容的一小部分，那么如果我想找到通常在搜索引擎上看不到的东西怎么办？

　　搜索引擎爬虫还必须符合某些规范。网站 高手不让爬的东西（参考：robots.txt）不应该爬，更别说收录进入搜索引擎，更别说一大堆内容现在在各种app里，爬爬虫的行为更难被发现，可能触犯法律（参考：*敏*感*词*第285条、第286条等）。这些内容方本身不希望被搜索引擎收录搜索到，所以在使用搜索引擎的时候自然是看不到这些内容的。

　　改变这一趋势的一件事是微信搜索。除了腾讯微信系统中的内容，他们还可以收录网页内容，也可以按照一定的规则收录各个小程序中的内容。另外，字节跳动的头条搜索后，搜索后可能会有一些动作。

　　（兴趣相关：团队做了大量工作）