搜索引擎如何抓取网页(搜索引擎蜘蛛能不能找到你的网页？要让搜索引擎找到)

　　搜索引擎如何抓取网页(搜索引擎蜘蛛能不能找到你的网页？要让搜索引擎找到)

　　搜索引擎蜘蛛能找到你的网页吗？

　　要让搜索引擎找到您的主页，您必须有外部链接。找到你的主页后，你还必须能够找到你更深层的内容页面，这就需要你有一个很好的网站结构，它符合 逻辑可以是扁平的，也可以是树形的。

　　而且，这些网页之间必须有良好的链接结构。这些链接最好是文字链接，图片链接也可以，但是JavaScript链接、下拉菜单链接、flash链接等都会有问题。

　　一般建议网站有一张网站的地图，列出所有重要的部分和网页。如果网站比较大，可以把网站图分成几份。

　　网站 的所有页面都必须从主页找到并点击链接，最好在 3 或 4 次点击内。

　　搜索引擎蜘蛛找到网页后可以抓取网页吗？

　　网页的 URL 必须是可抓取的。如果网页是数据库动态生成的，一般会将URL改写成静态的，即去掉URL中的问号参数和Session ID。从技术上讲，并不是搜索引擎无法读取此类网址，而是为了避免陷入死循环，搜索引擎蜘蛛通常会远离此类网址。

　　还有，如果你的网站是一整个flash，是没办法读取的。尽管搜索引擎正在努力读取闪存信息，但迄今为止收效甚微。

　　还有一个框架结构。网站刚出现的时候，框架结构风靡一时，现在还有很多网站在使用。这是搜索引擎蜘蛛的敌人。

　　并尽量去除搜索引擎无法读取的不必要的东西，如音频文件、图片、弹出窗口等。

　　搜索引擎蜘蛛抓取网页后，如何提取有用的信息？

　　网页的HTML代码一定要优化，就是格式标签占用的越少越好，真实的内容占用的越多越好，整个文件越小越好。将 CSS、JavaScript 等放在外部文件中。

　　把 关键词 放在它应该出现的地方。

　　检查网页与不同操作系统和不同浏览器的兼容性。检查它是否符合 W3C 标准。

　　只有当搜索引擎能够成功找到你所有的网页，抓取这些网页并取出真正相关的内容时，这个网站才算是搜索引擎友好的。