干货教程:干货推荐/如何使用爬虫程序采集马蜂窝旅行攻略数据

　　干货教程:干货推荐/如何使用爬虫程序采集马蜂窝旅行攻略数据

　　功能点目录：

　　如何配置 采集 字段

　　如何采集列出+详细信息类型页面

　　采集结果预览：

　　导出到 Excel 工作表：

　　导出的 PDF 文件：

　　下面就来详细介绍一下马蜂窝旅游攻略如何释放采集的信息数据。我们以泰国自驾游的出行策略为例。具体步骤如下：

　　第一步：下载安装优采云采集器，并注册登录

　　1、打开优采云采集器官网，下载并安装爬虫软件工具——优采云采集器软件

　　2.点击注册登录，注册一个新账号，登录优采云采集器

　　【温馨提示】无需注册即可直接使用本爬虫软件，但匿名账号下的任务在切换为注册用户时会丢失，建议注册后使用。

　　

　　优采云采集器 是优采云 Cloud 的产物。如果您是 优采云 用户，则可以直接登录。

　　第 2 步：创建一个新的 采集 任务

　　1.复制马蜂窝的泰国自由行指南网页（需要搜索结果页的网址，不是首页的网址）

　　2.新建智能模式采集任务

　　可以直接在软件上新建采集任务，也可以通过导入规则来新建任务。

　　第 3 步：配置 采集 规则

　　1.设置提取数据字段

　　在智能模式下，我们输入网址后，软件可以自动识别页面上的数据并生成采集结果。每种数据对应一个采集字段，我们可以右键该字段进行相关设置。包括修改字段名、增减字段、处理数据等。

　　在列表页面，我们需要采集泰国自由行指南的指南标题、指南链接、阅读量、体验人数、封面图片等信息。设置字段的效果如下：

　　2.使用深度采集函数提取详情页数据

　　在列表页面上，只显示了泰国自由行攻略的部分信息。如果需要策略的具体内容，需要右击listing的链接，使用“深采集”功能跳转到采集的详情页面。

　　在详情页面，我们可以看到指南的详情、评论数、采集数、发布时间。同时，我们可以看到指南中有很多图片。如果我们逐个设置字段的话，字段会很多，而且每个向导的图片位置都不一样，可能会导致采集不完整，所以我们可以在这里添加一个特殊的字段，"页面PDF”，我们可以点击“添加字段”添加采集字段，所有字段设置效果如下：

　　

　　第 4 步：设置并启动 采集 任务

　　1.设置采集任务

　　添加 采集 数据后，我们可以启动 采集 任务。在启动之前，我们需要对采集任务进行一些设置，以提高采集的稳定性和成功率。

　　点击“设置”按钮，在弹出的操作设置页面中，我们可以设置操作设置和防阻塞设置，这里我们勾选“跳过继续采集”，因为采集页面PDF如果等待时间过长如果太慢，可能会导致采集图片没有完全显示，所以我们设置请求等待时间为“5”秒，勾选“不加载”网页图片”，防屏蔽设置会按照系统默认设置，点击保存即可。

　　2.启动采集任务

　　点击“保存并开始”按钮，在弹出的页面中进行一些高级设置，包括定时启动、自动存储和下载图片。本例中没有用到这些功能，可以直接点击“开始”运行爬虫工具。

　　【温馨提示】免费版可以使用非周期定时采集功能，下载图片功能免费。个人专业版及以上可使用高级计时功能和自动存储功能。

　　3.运行任务提取数据

　　任务启动后会自动启动采集数据，我们可以从界面直观的看到程序运行过程和采集结果，采集之后会有提示超过。

　　第 5 步：导出和查看数据

　　数据采集完成后，我们可以查看和导出数据，优采云采集器支持多种导出方式（手动导出到本地，手动导出到数据库，自动发布到数据库，自动发布到网站）并导出文件格式（EXCEL、CSV、HTML和TXT），我们选择我们需要的方法和文件类型，点击“确认导出”。

　　【温馨提示】：所有手动导出功能均免费。个人专业版及以上可以使用发布到网站功能。

　　干货内容:一篇5千字的网站运营推广干货，2019年SEO依旧需要学必须做！

　　与你并肩作战的干员

　　2019年初，一篇题为《搜索引擎百度已死》的文章引起了很多互联网人的共鸣，尤其是网站运营商和推广者。在引入推荐引擎之前，网民的用户习惯还习惯于主动搜索。如果你想增加你的网站的曝光率，你需要迎合搜索引擎的机制，尽量增加网站的权重，让用户更容易看到自己。

　　《搜索引擎百度已死》作者文章指出，百度首页一半以上指向百度自家产品，尤其是频繁出现的“百家号”，与搜索的初衷背道而驰引擎。不仅如此，今日头条等带有推荐引擎的APP也在逐渐改变网民的用户习惯，这无疑增加了传统PC的推广和运营难度网站。

　　那么2019年，在百度偏重自有产品和付费用户的双重阻力下，以及推荐引擎平台瓜分用户的双重阻力下，SEO优化还是需要学习的，需要做吗？

　　答案是：需要学习，必须做！

　　当用户有疑问或对产品或服务有浓厚兴趣时，会主动查询相关内容。所有的搜索引擎还是缺一不可的，SEO优化可以提高精准用户的点击率。

　　搜索引擎机制

　　搜索引擎的本质是将最符合用户搜索需求的网站排在搜索结果的前面。以百度为例：它会通过一系列复杂的算法对每个网站进行评分，并给予不同的排名。以下四点影响百度对网站的评价：

　　1、网站的内容主题与用户搜索的关键词密切相关。

　　2、网站访问量大，原创内容多，页面更新快。

　　3. 网站 在互联网上广泛链接。在搜索结果中，点击率很高。

　　4.为信息流付费（记住，百度最喜欢付费用户~）

　　衍生附录：网站质量评估

　　什么是搜索引擎优化

　　普通话：SEO的英文名称是SearchEngineOptimization，翻译为搜索引擎优化，也叫搜索引擎排名，网站优化等。通过了解各种搜索引擎如何抓取互联网页面，如何索引，如何判断他们对特定关键词搜索结果的排名，我们可以优化网页以提高搜索引擎排名，从而增加网站的流量，最终提高网站的销售能力或宣传能力. 有效的推广方式。

　　大白话：SEO是网站运营推广的有效手段。让网站的设计符合搜索引擎检索习惯，从而提高网站在搜索引擎中的排名，让潜在客户使用产品关键词可以找到你的网站 在所有主要搜索引擎上。

　　PS：SEO是一种推广和营销的手段。在此之前，我们需要做内容。网站中的优质内容还是最基础的

　　SEO可以做什么

　　1、SEO可以让网站满足搜索引擎的爬取规则，提升网站的排名

　　2.增加目标用户的流量，提高品牌曝光度和营销效果

　　3、通过SEO，可以让网站的页面、结构和层次更清晰合理，更符合普通网友的使用习惯

　　为什么你必须做SEO

　　搜索引擎仍然是网民主动获取信息的工具。大多数用户不会选择记住网站域名登录网站，而是使用查询引擎检索关键词来访问检索到的网站。

　　今天的搜索引擎会在搜索页面上提供一个专门的关键词广告区。虽然排名很高，但是搜索引擎右侧关键词广告的点击率远低于左侧自然搜索排名网站，用户更信任自然搜索的结果。

　　现在的网民被养得很“懒惰”，一般只在搜索结果中查找排名靠前的结果。搜索时，大部分网友只点击搜索首页的前几个网站，搜索结果为三页。未来的内容，几乎无人问津。

　　实用的搜索引擎优化

　　实用的 SEO 涉及 网站 内容和网页描述。提到网站内容项需要重点关注关键词优化、内容优化和链接优化。

　　1.关键词（word）优化

　　《提议的爆款风格文章？优化用户体验+迎合平台胃口》标题的关键是什么文章也提到了关键词（words）的问题，即输入的词或短句搜索框中的用户，即命令搜索引擎查询的东西。关键词 可以是任何中文、英文、其他语言、数字或中英文数字混合。

　　关键词标识

　　关键词只要中文、英文、数字、空格等有区别，就是另一个关键词。您可以仔细观察搜索引擎中不同关键词的不同搜索结果。

　　例子

　　注意单词组成：“英雄联盟”和“LOL”是两个不同的关键词。

　　注意英文大写：LOL 和lol 是两个关键词。

　　注意标点符号“：”“”“”等符号：搜索引擎一般缩写“””，比如《英雄联盟：剑圣》和《英雄联盟剑圣》是两个不同的关键词。

　　注意空格：“英雄联盟官网”是一个关键词，“英雄联盟官网”是两个关键词。

　　关键词类别

　　每个 网站 或文本页面都有无数的 关键词，有些 关键词 有共同点。根据关键词的特点和优化方法，关键词分为3类，分别是核心关键词、扩展关键词和长尾关键词。

　　1 个核心关键词

　　描述：指能够描述网站的核心内容、话题、频道、栏目的词汇。它是网站内容的“焦点”，网站上的一切都是围绕这个“焦点”展开的。核心关键词一般为产品名称、服务名称、行业名称、产品类别等，含义广泛关键词，应用广泛，经常被网友搜索。关键词。

　　例如：女性、采集、减肥药、*敏*感*词*、汽车、游戏、王者荣耀等。

　　你跑的专区的核心关键词是专区内容的“焦点”，比如王者荣耀官网，全名，简称，昵称，英文名，新版名，比赛，英雄等

　　特点：核心关键词少，搜索量大，竞争激烈，优化难度大。所以核心关键词应该优化在专区首页和频道首页。网站首页、频道首页、专题页、列表页重点优化“核心关键词”。

　　2个扩展关键词

　　

　　说明：扩展关键字是“核心关键词”的扩展、扩展和相关补充关键词。一般来说，“extension关键词”=“core关键词+word”，而“extension关键词”收录“core关键词”。

　　比如：核心关键词是《王者荣耀》，那么《王者荣耀李白》、《王者荣耀礼包》、《王者荣耀皮肤》都是很好的扩展关键词 .

　　特点：扩展关键词的关键词很多，搜索量比较大，优化难度大

　　3 长尾关键词

　　说明：长尾关键词是比“扩展关键词”更具体、更详细的关键词，表达方式更少、更精确。长尾关键词”的内容很少，大多存在于特定的内容页面，通常由2-3个词甚至词组组成，搜索量比较小且不稳定，但长尾关键词特别大，竞争度低，容易优化，所以需要搜索更多具体内容页面优化长尾关键词。

　　特点：长尾关键词搜索量小，但竞争度低，容易优化。关键词有很多，适合在大量具体内容页面进行优化。

　　三种关键词的比较

　　1.首页需要重点优化核心关键词（少关键词，搜索量大，竞争高，难度高）

　　2.列表页需要重点优化扩展关键词和长尾关键词（更多关键词，中等搜索量，高竞争，低难度）

　　3.具体内容页面需要重点优化长尾关键词（多关键词，搜索量小，竞争高，难度低）尽量选择搜索量大，竞争难度低的关键词 进行优化并将 关键词 放在正确的位置。长尾关键词一般包括“core关键词”和“extension关键词”

　　关键词查找关键词工具

　　我的IP：

　　百度相关搜索

　　关键词 的选择

　　关键词 的选择非常重要。我们可以使用百度索引查看关键词的搜索索引，从而过滤出注意力更高的关键词，然后做扩展关键词、长尾关键词等.

　　示例：查看《英雄联盟》和《LOL》的指数关键词，可以看到《英雄联盟》比较高，那么我们选择关键词是，尝试使用尽可能”“英雄联盟”，用关键词扩展关键词，长尾关键词等。

　　关键词其他知识点

　　1 关键词频率

　　关键字在页面上出现的频率（次数）在一定程度上反映了页面内容与关键词的相关性。您应该增加重要关键字的词频，但将关键词密度保持在合理范围内。

　　2关键词密度

　　关键词密度常用于衡量一个页面中关键词的词频是否合理。

　　策略：合理密度：2% < 关键词 密度< 8%

　　3关键词密度查询URL

　　中国站长

　　这不仅仅是增加“关键词频率”，使“关键词密度”在2%到8%之间，更重要的是，将关键词以“更高的权重”分布在重要的位置。

　　4关键词分布

　　关键词要合理分布在有利于排名的位置

　　1.页面的Title和Meta标签

　　2. 文章 标题、页眉、左侧、正文前200字

　　3.加粗、放大、加色、加链接

　　4、图片的Alt标签，标签的标题

　　5. URL中收录关键词的英文或拼音

　　2.内容优化

　　根据技术判断，搜索引擎根据文章是否为“原创”分为三类：原创文章、伪原创文章 、抄袭文章这三类

　　原创：指的是网站自己创建的文章，而这个体现在SE网站中的文章就是网上的“首发”。原创 的权重最高。

　　伪原创文章：修改其他网站的文章的内容，在原创文章的基础上做一些修改，剪掉开头和结尾，或者增减，调整段落顺序等，然后发布为自己的创作。

　　抄袭文章：文章 上的 文章 与另一个 网站 的精确副本，或在一定程度上改变其形式或内容的 文章，在线与这个文章的内容有很多相同的网页，而这种文章的权重最低。

　　优化：权重：原创文章>伪原创>抄袭文章原创内容最好

　　1.多个原创性文章

　　2、对于被多次转载的文章，以及被其他网站转载复制的文章，尽量改成“伪原创文章”。伪原创怎么写，参考：网站 编辑必备技巧：伪原创怎么写？

　　3、每个文章的主题：一个页面的主题越紧，搜索引擎的排名就越好。有时会发现你写了很长的 文章，涵盖了几个不同的主题，它们的相关性不是很高，因此在搜索引擎上排名不高。如果您关心搜索引擎排名，最好将此类 文章 拆分为几个主题更紧密的 文章。

　　4.写一个合适的文章长度：太短的文章不能得到更高的排名。通常，每个 文章 至少应收录 300 个单词。另一方面，不要让 文章 显得太长，因为这不会帮助你保持 关键词 的密度，而且 文章 也会显得不那么紧凑。研究表明，较长的文章 可以大大减少乍一看选择关闭文章 的读者数量。

　　ps：像文章这样的搜索引擎，网页长度在1000-2000字之间，很长的文章分页合理；将 文章 中的“字幕”分成自然段落；重要的关键词，粗体声明，或使用其他颜色

　　3. 网站 链接策略

　　

　　网站，在互联网上广泛链接，将被搜索引擎优先推荐。

　　内链优化：

　　1：网站 内的所有子页面都有到主页的链接。

　　2：页面出现关键词文字，可用于链接相关主题的页面。

　　3：清除 网站 导航，使用“面包屑”。

　　4：创建一个展示所有 网站 内容的 网站 地图。

　　5：尝试将站点中的所有重要页面成对互连。

　　6：尽量用文字链接代替图片和FLASH链接。

　　7：不要让你的 网站 有死链接。

　　引入优质外链：

　　1：主动提交你的网站到搜索引擎相关目录。

　　2：提交网站到行业相关目录网站。

　　3：链接优质竞争对手网站。

　　4：链接优质合作伙伴网站。

　　5：在重要行业网站，发布软文，并附上网站的链接。

　　6：不要做一些垃圾链接：在论坛、留言簿等中批量发布带有URL的内容。

　　四、SEO的核心

　　1网站分析

　　我们网站提供哪些产品和服务？

　　用户通过哪个关键词搜索我的网站？

　　这些问题在前期得到解决

　　2 确认核心关键词

　　解决网站的定位问题后，我们需要选择与网站业务相关且转化率高的关键词。

　　产品用户使用频率高，搜索频率高关键词

　　选择 关键词 以方便排名并避免竞争流行语。

　　3 组合长尾关键词

　　根据用户的搜索习惯，组合、扩展，形成一系列关键词组。在这里，运营商需要做一些竞品和数据分析

　　4关键词推广策略

　　一般 网站 主页用于宣传核心 关键词 和 关键词 组。

　　多建二次网站，一一优化长尾关键词。

　　忌讳

　　SEO必须了解规则，以免无意中使用这些策略而受到搜索引擎的惩罚。

　　关键词关键字填充

　　隐藏文字/链接

　　门口页

　　无用的元标签

　　伪装页面

　　链接农场

　　重定向

　　误导 关键词

　　在与页面无关的页面中使用误导性的 关键词 来吸引访问者网站 访问该主题。这种做法严重影响了搜索引擎提供的结果的相关性和客观性，被搜索引擎所憎恶。

　　大量重复关键词

　　某关键词密度大于8%，又称“关键词叠加欺骗”，利用搜索引擎对网页上出现的关键词的高度关注，在关键词 （过度）重复。其他类似的做法包括在 HTML mate 元标记中增加关键字或使用多个关键字元标记来增加 关键词 的相关性。这种技术很容易被搜索引擎检测到并受到相应的惩罚。

　　衍生产品：微信公众号/文章SEO

　　上面提到的SEO优化和推广有很多想法和方法。其实对于微信公众号来说，微信APP内置搜索和搜狗微信搜索也可以针对SEO进行优化，两者的底层逻辑是一样的。

　　微信公众号SEO包括元素：公众号关键词匹配度、公众号文章关键词匹配度、权限、认证、线程库、互动、人气、注册时间、是否原创 等

　　至于具体的优化方法，大家可以参考上面的思路，互相推论。