flash网页抓取工具(7.域名/Web服务器7.1域名后缀7.2域名历史7.3)

　　flash网页抓取工具(7.域名/Web服务器7.1域名后缀7.2域名历史7.3)

　　7. 域名/Web 服务器

　　7.1个域名后缀前缀

　　7.2 域历史

　　7.3 服务器地理位置

　　8. 多语言网站

　　9. 移动友好性

　　1. 页面速度

　　首先，您可能会问，页面速度究竟是什么？实际上，网页速度是打开网页后加载网页所需的时间。影响网页速度的原因有几个： web 服务器；图片、flash、视频等页面元素；和 CDN。

　　1.1为什么网页速度如此重要？

　　为什么网页加载速度如此重要？因为谷歌在 2010 年宣布使用页面速度作为排名因素。

　　

　　然后在 2018 年，页面速度被用作移动搜索排名的基础。

　　

　　从谷歌官方的公告来看，谷歌非常重视网页的速度，这意味着优化网站的速度变得非常重要。

　　如果页面速度没有优化，假设用户到达一个加载缓慢的页面，我们也可以推断这个页面很难获得好的转换结果。另外，我引用了谷歌官方调查声明中的数据：调查结果表明，零售行业页面加载时间每增加 1 秒，转化率就会降低约 20% 或更多。

　　因此，网站要想获得更好的排名，快速的页面加载速度是必不可少的因素。

　　1.2如何测试网站的加载速度？

　　我们推荐以下免费测速工具来评估网站的加载速度：

　　1.2.1 PageSpeed 洞察

　　?hl=zh-CN

　　我推荐的第一个免费工具是PageSpeed Insights：它对移动和桌面页面上的不同页面进行评分。从 0 到 100，分数越高表示网页速度越好。

　　

　　PageSpeed Insights还可以针对移动端和桌面端给出具体而详细的优化建议。这些诊断和建议可以帮助我们从不同维度优化页面速度。

　　

　　1.2.2 GTmetrix

　　这个工具也是我们常用的谷歌网站测速工具。

　　

　　1.2.3

　　

　　1.2.4 个其他网站测速工具

　　1.3 如何提高网页速度

　　前面我们提到影响网页速度的因素有网页服务器、图片、flash、视频等页面元素以及CDN缓存。接下来，我们来谈谈如何提高页面加载速度：

　　1.3.1 升级服务器

　　我们知道，当网页开始加载时，Web 服务器实际上是在运行程序并打开文件。这意味着服务器越快，页面加载速度就越快。

　　目前，市面上的服务器很多都是上千人共享的。这么多人共用一台服务器，自然无法保证稳定快速的网页速度。对于很多网站来说，选择稳定安全的服务器，不仅可以快速打开网页​​，还可以从根本上提高网页的加载速度。

　　目前可以说，欢欣已经尝试了所有知名服务器。在这个阶段，给大家的推荐是inmotion hosting。因为我们曾经把服务器从bluehost的一个网站换成inmotion托管，然后这个网站的Google排名和流量增长了50%，这个数据足以说明页面速度对于搜索引擎优化。

　　1.3.2 压缩图像

　　在测试网站的网页加载速度时，可以说几乎所有网站的图片都需要压缩。一般图片占据页面大小的50%-90%以上。以下是几种常用的压缩工具

　　WP SMUSH 插件

　　Wordpress系统的网站中使用了WP SMUSH插件，WP SMUSH插件可以自动压缩图片。

　　铯

　　大众形象

　　1.3.3 启用 CDN 缓存

　　CDN的全称是Content Delivery Network，字面意思是Content Delivery Network。

　　CDN被视为智能虚拟网络。当用户想要获取网站信息时，依赖于

　　

　　通过在各地部署边缘服务器，用户可以就近获取缓存信息。可以说CDN可以将用户传输到更快更稳定的网络。

　　例如，您的 网站 目标客户是全球性的，而服务器在美国。由于距离和电信提供商的关系，德国的用户会觉得网页速度很慢。为了让德国用户能够快速打开网站，在德国建立了一个服务器节点，网站的内容缓存在德国服务器节点上。当德国用户打开网站的同时，CDN会自动将用户分配到德国节点，这样网页的打开速度会非常快。

　　因此，有必要使用CDN。这里我们推荐亚马逊的CDN。以下是 Amazon CDN 的价格，供您参考。

　　

　　1.3.4 减少不用的 JavaScript、CSS、HTML 等。

　　许多网站出于效果等原因使用了大量的JavaScript、CSS、HTML等代码。

　　老实说，这些代码对于谷歌的SEO优化是无关紧要的，相反，它们也会减慢页面速度。

　　建议您减少这些代码，然后删除那些未使用的页面资源中的冗余代码。

　　清理这些未使用的 JavaScript、CSS 和 HTML 代码从本质上减少了网络活动消耗的字节数。这是需要牢记的：页面越整洁，网站 加速越快。

　　2. 网站地图

　　我们所说的网站地图（sitemap）是一个描述文件，可以说明网站的网页信息与这些内容的关系，比如网站上的所有URL，main网页、更新频率和时间等。网站地图不影响网站的排名，它有助于搜索引擎了解网站上的内容。

　　当 网站 更新时，网站 地图可以让搜索引擎快速发现 网站 上的所有页面，使得爬取非常高效。所以提交 网站maps 是一项非常重要的 SEO 工作。

　　

　　Google 在 2005 年推荐 网站 使用 网站 地图。最初的 网站 地图只有 xml 格式。目前 网站 地图有 XML 和 RSS/Atom 格式。

　　网站maps 的两种格式的区别在于 XML网站maps 覆盖了所有的 网站 URL，而 RSS/Atom 只记录最近对 网站 的更改。为了确保及时捕获网站，建议您同时使用两种形式的网站 映射。

　　XML网站地图基础版本：

　　

　　XML网站地图标准版：

　　

　　RSS网站地图示例：

　　

　　网站 以 Atom 形式映射：

　　

　　如果不知道网站map是怎么写的，可以参考一下。网站maps 有多种形式供大家参考。

　　3. robots.txt 文件

　　robots.txt 可以起到限制搜索引擎机器人抓取 网站 的作用。

　　3.1 robots.txt的工作过程如下：

　　搜索引擎机器人（bots）到达网站页面后，首先会检查robots.txt文件是否存在。如果网站上有robots.txt文件，并且robots.txt禁止谷歌搜索引擎抓取某些页面，那么搜索引擎就不会抓取这些页面。

　　如果您不希望搜索引擎抓取 网站 上的内容，建议使用 robots.txt 文件。

　　这里我将介绍以下方法查看网站上的robots.txt：在搜索引擎框中输入查看网站上的robots文件。

　　3.2 robots.txt 文件指令

　　我们来一一看robots.txt文件中的说明。这些说明是什么意思？

　　下面第一张图是一个网站的Robots.txt文件示例，第二张图是谷歌官方说明的解释：

　　

　　

　　用户代理：指定规则适用于哪个搜索引擎的爬虫。

　　User-agent：*适用于所有爬虫爬虫，示例中User-agent：Googlebot表示允许谷歌爬虫爬取网站，

　　Disallow: /指定搜索引擎不能抓取的内容和文件。在示例中，Disallow: /wp-admin 表示搜索引擎无法抓取 网站 后台的内容和文件。

　　允许：/搜索引擎可以抓取的内容和文件。

　　

　　值得注意的是，虽然 robots.txt 文件会阻止搜索引擎抓取某些页面，但这些 URL 仍会出现并在搜索结果中被编入索引。如果您不希望某些 URL 被编入索引或从索引页面中删除，建议使用 HTML META 标记。我们来谈谈 HTML META 标签

　　3.3 HTML META标签说明

　　

　　NOINDEX META 标签：告诉搜索引擎不要索引这个页面

　　NOFOLLOW META 标签：告诉搜索引擎不要从本页链接到其他内容。

　　NOSNIPPET META 标签：告诉搜索引擎不要在搜索页面结果中显示摘要部分。

　　NOARCHIVE META 标签：告诉搜索引擎不要显示此页面的快照。

　　NOODP META 标签：告诉搜索引擎不要使用此页面上打开目录中的标题和描述。

　　这些指令适用于所有 Web 表单，例如 HTML、非 HTML 页面、PDF、视频等。

　　另外，2019年谷歌在robots.txt文件中提到：使用noindex标签是去除索引页面最有效的方法。如果您想从 Google 搜索页面中删除索引页面，您可以将 noindex 标记添加到页面。

　　

　　4. 结构化数据

　　Google 允许 网站 在搜索结果中突出显示某些类型的内容，例如产品、时间、食谱和评论。

　　所以结构化数据（Structured data）近年来变得越来越重要，成为网络生态系统的一部分。

　　如果 Google 将我们的 网站 以结构化数据的形式呈现给客户，那么 网站 上的内容将更加准确，对用户更具吸引力。

　　4.1 结构化数据的特点

　　接下来，我们来看看结构化数据的能力。

　　4.1.1 亮点

　　

　　

　　4.1.2 提高品牌知名度

　　

　　4.1.3 突出产品信息

　　

　　4.1.4 亮点

　　

　　4.2 如何检测结构化数据

　　我们可以使用谷歌搜索控制台（Google Webmaster Tools）来监控网站上的结构化数据；

　　此外，您还可以在 Google 搜索控制台中查看 网站 结构化数据功能是否有错误和警告：

　　

　　如上图所示，这个网站有46K错误，6个3.2K警告，正常页面是1.03M。

　　除了检测网页中特定 URL 的结构化数据外，它还使用 Google 搜索控制台中的 URL 检查功能。

　　

　　将URL放在最上面的URL复选框中，我们可以看到相关的错误警告，下面是recipe的结构化数据的错误提示。如图所示：

　　

　　除了谷歌搜索控制台，我们还可以使用结构化数据测试工具来运行 URL 测试。

　　结构化数据测试工具：

　　5.网站交互设计

　　网站交互设计的最终目的不仅是用户的需求，也是搜索引擎的需求。

　　网站交互设计可以让用户快速找到自己需要的网页，有利于谷歌的抓取和收录，最终让网站快速获得排名和流量。

　　接下来，我们来一一说说交互式网站设计的特点：

　　5.1 结构清晰合理，平整

　　搜索引擎蜘蛛或机器人 (bot) 抓取 网站 的顺序是从一个网页到另一个网页，跟随主页，直到 网站 的所有页面都被抓取。要求网站的主类都必须独立存在，每个主类都有独立的子类。这样，谷歌机器人就会有条不紊地沿着一个类别和下一个子类别爬行。

　　下图是清晰合理的网站架构图：

　　

　　相反，有些网站结构设计的乱七八糟，非常不利于谷歌的抓取。由于级别的混乱，谷歌的搜索引擎很难对网站的所有页面进行爬取和索引。

　　这是一本关于具有太多层和杂乱结构的 网站 结构的负面教科书：

　　

　　PS：如果是一般行业网站，建议主类数量限制在2-7个。如果主类太多，除了大型B2C购物网站外，用户很难找到自己想要的东西。

　　5.2 图片使用alt标签，

　　

　　视频提供成绩单

　　Google 无法识别图片和视频的内容，但可以识别文字。因此，网站 上的所有图片都应该有 alt 描述。此外，视频还应配备成绩单，以便其能够被搜索引擎识别、收录 和索引。

　　6.自定义搜索引擎优化

　　我将要讨论的自定义 SEO 内容包括：URL、TDK、301 重定向和 HTTP404。

　　6.1 关于 URL

　　URL（统一资源定位器），也称为网址。

　　动态网址（Dynamic URL）是一些很长的网址，我们经常看到带有“？”之类的参数。"=""&"，URL以aspx、asp、jsp、php、perl、cgi等后缀结尾。例如：?ie=31-6-1/

　　静态 URL：静态 URL 与动态 URL 相比，没有“?”、“=”、“&”等参数，并且 URL 的结尾有 html、htm、shtml、jhtml 后缀。例如：

　　关于哪个动态 URL 或静态 URL 有利于 SEO，有很多意见。2008年，谷歌正式解释了静态URL和动态URL有利于SEO的话题如下：

　　

　　其实动态网址和静态网址没有区别，都可以指向一个网页，都可以googled收录。只是静态URL方便用户了解页面内容，有利于页面的点击率，而上面提到的页面点击率是页面排名的因素之一。

　　6.1.1 网址目录

　　网站的结构前面已经讲过，URL目录与网站的结构有关。网站 的英文 URL 必须收录目录名称，以便用户理解和记住：

　　例如：

　　6.1.2 自定义网址

　　自定义 URL 成为 SEO 友好的 URL。主要目的是改善用户体验。在用户记忆方面，自定义 URL 的标准如下：

　　URL越短越好，也不容易过长。

　　尽可能少的 URL 目录层次结构

　　URL 收录英文 关键词 例如：

　　6.1.3 URL 规范化

　　同一页面的内容具有不同的 URL。比如环新网的首页有：、、、/index.html；如果不进行 URL 规范化，Google 搜索引擎会考虑这四个不同的 URL，并赋予这四个 URL 不同的权重，同时搜索引擎会认为这四个 URL 的内容是重复的，这会导致网页内的高度重复。

　　当一个网站上有很多内容基本相同但URL不同的网页时，多个URL会分散页面的权重，不利于SEO排名。我们可以使用规范标签来规范化 URL。

　　规范标签，也称为规范链接标签。Canonical标签是谷歌、雅虎和微软三大搜索引擎巨头在2019年推出的一项建议，推动它的目的是为了减少重复内容。目前百度也支持Canonical标签。

　　规范标签只能用于同一域的 URL，不能重复不同域的内容。使用规范标签的目的是告诉搜索引擎这个页面是权威的，而其他页面是这个页面的变体。这样做的好处是避免了 网站 内的重复内容，缺点是其他重复的变体 URL 不会被搜索引擎索引。

　　

　　如何安装规范标签？

　　如果你使用的是Wordpress系统的网站，推荐一个Wordpress插件：Yoast SEO

　　安装步骤如下：

　　点击Plugins“Add new”Search for Yoast SEO“安装WordPress插件：Yoast SEO

　　

　　对于Yoast SEO提供的规范化URL功能，在搜索框中填写要规范化的URL即可。

　　

　　6.2 SEO TDK

　　SEO TDK是优化页面元标签的一项重要任务：T指页面标题，D指页面描述，K指页面关键词。Google 近年来已停止使用 关键词 作为排名因素，所以让我们忽略它。

　　TD在搜索结果页面上的效果如下：

　　

　　6.2.1 为什么SEO TD很重要

　　虽然 Meta Description 不是影响搜索引擎排名的因素，但 Meta Description 影响搜索结果页面的点击率（CTR），而 CTR 是影响搜索引擎排名的重要因素。

　　点击率 (CTR)

　　CTR 是在自然搜索结果页面上点击 网站 的机会。

　　点击率计算公式：点击次数/展示次数=点击率。

　　一个网站 的低点击率意味着用户觉得网站 不能满足他们的需求，或者用户发现其他网站 描述和标题更有吸引力。

　　6.2.2 如何改进

　　

　　页面点击率：

　　优化页面的标题和呈现方式是提高页面点击率最直接的方法。优化页面标题和呈现方式是指优化页面的TD部分：

　　合适的长度

　　标题65个字符以内，描述控制在124个字符以内。

　　因为多余，搜索引擎会显示为...，不利于用户体验。

　　尽可能将 关键词 放在标题和描述之前

　　标题和描述必须收录本页的核心关键词，更重要的关键词要放在前面。

　　使页面的标题和描述引人注目

　　主题清晰，描述贴切，引人入胜。

　　准确表达页面内容

　　有必要清楚地说明业务以及为什么要选择我。如果 TD 的描述与页面不匹配，即使用户点击到达该页面，也会很快离开，这会增加页面的跳出率。

　　页面的跳出率也是决定网站能否排在第一位的一个因素。因此，一定要在页面上准确表达页面的内容。

　　6.2.1如何安排TDK？

　　在meta标签中，TDK的排列方式如下：

　　

　　在 Shopify/wordpress 系统中布局 SEO TDK：

　　

　　6.3 301 重定向

　　301 重定向，也称为永久重定向，是指将网页从一个地址永久移动到另一个地址。永久重定向是一种服务器端重定向，它可以被搜索引擎适当地抓取，收录，并被搜索引擎索引。

　　什么时候需要做 301 重定向：

　　当需要规范化网页时：

　　当旧的网站的域名被废弃时，不需要链接到新的网站

　　方法如下：将URL /2/转301，这样搜索引擎就会知道URL权重转移会集中在这个URL上。

　　如果想了解不同程序环境下实现301重定向的具体方法，请点击我们之前写的一篇文章文章：