狸窝网页flash抓取器(我们先把百度给站长的建站建议逐条分析(图))

　　狸窝网页flash抓取器(我们先把百度给站长的建站建议逐条分析(图))

　　我们先来一一分析百度给站长的建站建议：

　　1.为每一页添加与文本相关的标题。如果是网站的首页，建议使用站点名称或站点所代表的公司/组织的名称作为标题；对于其他内容页面，建议标题是对文本内容的抽象和总结。这使您的潜在用户可以快速访问您的页面。请不要在与正文无关的标题中堆放关键词。

　　小评：的确，我们必须为每个站点的每个页面设置一个好的标题和描述，这将有助于搜索引擎抓取网页的中心，也是搜索引擎搜索结果查询的根本依据，但是关于网站的首页，百度的声明建议应该使用站点名称，或者公司名称或者组织名称，这似乎有点误导。显然，不知名的客户不可能搜索到您的公司名称或组织名称。相反，对于一个网站主页，我们应该将其设置为服务或产品或行业相关的关键词，这样才是客户搜索的根源。

　　2.确保每个页面都可以通过文本链接访问。百度无法识别Flash中的链接，这些单元上的链接指向的网页不能是百度的收录。对于页面之间的链接，尽量使用纯超链接而不是重定向跳转。使用自动跳转的页面可能会被百度丢弃。

　　小评：FLASH，注重视觉冲击力，所有FLASH站，一般用于品牌推广网站，或者个性化网站，但是FLASH里面的链接百度看不懂。我个人认为，从2008年开始，百度好像就有了抓取FLASH到百度快照的功能，但是只是COPY，并不代表百度明白你的FLASH里面的内容是什么，百度也看不懂它。对于客户的网站，当我们输入网站的域名进行访问时，发现它跳转到了一个很深的目录，例如：当我们输入：时，我们会发现网站立即会跳转到：，他们用刷新而不是301跳转，用JS跳转，呵呵，小伙伴们要注意了，这样的站不需要我们去优化，所以网站本身就是设计不合理，用户体验差，对搜索引擎不友好，用于优化时权重的传递丢失严重。一直以来，百度本身不是浏览器，它不具备浏览器的跳转阅读功能。

　　3.谨慎使用 frame 和 iframe 结构。

　　小评：这个是毋庸置疑的，说说为什么不使用frame和iframe框架，因为frame和iframe使用独立的url页面，而不是和父窗口共享一个url，百度请求对外抓取一个url，目前的爬取过程只能指向一个URL，所以在当前的爬取过程中，百度只能爬取当前URL中的内容，经过爬取、打包、排序后存入数据库。百度不会抓取当前 URL 请求中 iframe 中的内容。如果它必须再次爬取frame和iframe中的内容，它只会发出另一个url爬取请求。多年来，使用js挂马和iframe挂马的现象极为严重，百度对站外的js和iframe仍然心有余悸。

　　4.如果是动态网页，请控制参数个数和URL长度。百度更喜欢收录静态网页。

　　小评：一般我们建议URL的目录深度为3。对于动态网页，百度可能不会抓取这样的URL，比如：

　　? id=1&str1=aa&str2=bb，即使你爬了，你会发现你被搜索到的可能性很小。静态页面，网页内容不会改变，没有参数，更容易被爬取。你见过百度自己采用这样的链接吗，比如？cat=aabbcc，这样的html网页后缀能算静态页面吗？不，这仍然是一个动态页面，只是百度将html类型的文件交给了web服务器中的PHP或其他动态语言处理程序来解释或编译执行。

　　5.在同一页面上不要有太多链接。在那些站点地图类型的页面上，链接重要内容，而不是所有细节。太多的链接也可能会阻止百度收录。

　　小评：本文疑点太多。让我们来看看。如果你打开一个一般的门户网站，你会发现他们的网站链接至少有3000个之多，这在百度看来是不合理的。? 这些链接也指站内链接或站外链接。看来百度可能是由于以下几种情况。一、百度的爬取能力有限，页面太长，百度防止爬取陷入死循环，链接太多或者页面太长，中间部分的内容爬不上去。还有一种情况是，一个网站被大量的seo用来增加外链，读起来是不对的。一些目录收录 站点也有大量的外部链接。不过，百度收录 很用心。

　　6.网站建筑应该是面向用户的，而不是面向搜索引擎的。一个受用户欢迎的网站最终会受到搜索引擎的欢迎；反之，如果你的网站为百度做了很多优化，但给用户带来了很多负面体验，那么你的网站可能最终还是会受欢迎。百度的冷落。

　　小评：这点争议很大。从表面上看，百度有怨恨和优化的意思。对于任何一个网站来说，生存的根本就是客户，留住老客户、吸引新客户是网站的建设目的。百度表示，优化给用户带来了很多负面体验，这是事实。优化的重点是突出网站的重点，让搜索引擎在不影响客户浏览体验的情况下更好的抓取和分类。一个网站，客户来源无非就是这几种，一种是写下网址的老客户，另一种是一些社区博客或者贴吧论坛广告，还有*敏*感*词*，真实的-时间联系软件，它是一个搜索引擎。网站 优化的目的是赢得更多客户。百度表示将被排除在外。众所周知，百度被全世界的站长们冷落。它会是什么样子？

　　7.百度更喜欢内容独特的页面，而不是简单地复制和复制互联网上已有内容的页面。对于重复上千次的内容，百度未必会给收录。请谨慎使用您的附加链接。指向某些垃圾网站的附属链接可能会对您的 网站 产生负面影响。

　　小评：作者同意这一点。做一个 网站 真的需要努力。同时我们也要明白，制作一个网站，不管是商业网站还是非商业网站，另外，一些网站开发者在开发和定制一个< @网站，我们需要定制一个可以实时更新内容的网站。版块，方便百度实时抓取和点赞。说到友情链接，其实友情链接是提高网站在大程序中PR值的关键，当然不是全部，更深层次的东西需要你自己去发现。

　　总结：百度，如果站长把网站做好了，也只是从其搜索引擎的角度给出意见，并没有告诉广大站长如何真正做好网站 >优化，如何突出你的网站的焦点，如何做链接，如何做头条，如何做一些软文，如何让结果更高级，哈哈，百度的建议对站长来说似乎是这样的一句话，“我只能在百度上向你透露，你自己做，能不能让我爱上你，就看你的运气了。” 请各位站长发表意见。