直观:可视化数据采集器import.io与集搜客评测对比

　　直观:可视化数据采集器import.io与集搜客评测对比

　　大数据企业报告：大数据产品、大数据解决方案、

　　大数据人

　　分享大数据干货：大数据书籍、大数据报告、

　　大数据视频

　　本文是大数据贡献者的合集。欢迎更多优质原创文章投稿给大数据人：

　　摘要：国外大数据软件采集Import.io最近火了。在获得90万美元天使轮融资后，近日又获得1300万美元A轮融资，备受关注。在众多投资人眼中，笔者也很想体验import.io的神奇功能。我是中国大数据软件合集GooSeeker的老用户采集，所以喜欢把两者放在一起比较。下面我将比较和解释最令人印象深刻的功能，对应于import.io的四大特性：Magic、Extractor、Crawler、Connector，并分别对其进行评估。

　　对于数据比较感兴趣的朋友采集，希望能起到吸引别人的作用，一起来分析一下数据采集的技术亮点。

　　1.魔法（Import.io）VS天眼千面（吉邹克）

　　魔法——

　　就像magic“magic”这个词的本义一样，import.io 赋予了Magic 一个神奇的功能。只要用户输入网址，Magic工具就可以神奇的将网页中的数据整齐、规范地抓取出来。

　　如图1所示，输入58同城租房信息URL后，Magic会自动采集到网页数据，操作简单。但是可以看到可能会漏掉一些栏目，每页都需要点击“下一页”进行采集，无法自动翻页。当然，还有很多页面几乎没有采集可以下载，比如新浪微博。

　　不管怎样，我觉得很棒：

　　1）他怎么知道我想要什么信息？

　　2） 是不是有人在后台预先制作的？

　　3）有些网址输入后等待时间短，有些网址输入后等待时间较长。真的有人在后台做采集规则吗？

　　图 1：Magic Autocrawl 示例

　　上图是import.io的Magic功能截图。它是一个纯网页界面，使用起来非常方便，无需安装额外的软件。总结一下：

　　优点：适配任意URL，操作非常简单，自动采集，采集结果可视化。

　　缺点：无法选择具体数据，无法自动翻页采集（是不是不熟悉？）。

　　GooSeeker的天眼千面系列-

　　集搜客的天眼和千面分别针对电商和微博发布的数据采集方便的GUI界面，只要输入URL，目标数据就可以规范整齐采集@ >已下载。

　　如图2：显示博主的采集工具（微博各种数据都有采集管理界面），进入博主首页的链接，可以调度爬虫， 采集博主首页下的信息，如微博内容、转发、评论等数据。

　　图2：GooSeeker微博博主采集界面示例

　　界面也很简单。与 Import.io 相比，最大的不同是用户自己运行爬虫组。在硬盘上经过结构化和转换的 XML 格式的结果文件。

　　优点：操作非常简单，可以自动翻页采集，微博上能看到的重要字段都采集了。

　　缺点：采集数据字段有限，只有采集GooSeeker官方限定网站。

　　从上面的分析可以看出Magic和GooSeeker的天眼和千面操作非常简单，基本属于纯傻瓜式操作，非常适合只想专注于业务问题的人并且不想被技术问题分心。分心的用户也是纯初学者学习数据采集和使用数据结果的良好起点。但是，Magic 在采集 的结果可视化方面比天眼和千眼具有更广泛的适用性。缺点是采集数据量大的场景不可控，而天眼和千面专注几个主流网站，优点主要体现在能够完成大量数据采集，比如一个专业的市场调研或者消费者调研团队需要几百万或者几千万的数据，只要你跑足够多的网络爬虫，就不会因为采集的量而阻碍你的数据研究.

　　2.Extractor (import.io) VS Organizer (Jisooke)

　　提取器——

　　Extractor 是翻译中的提取器。如果从实体的角度来理解，它就是一个小程序（可能是一组脚本），从 URL 中提取出想要的信息；如果是从采集中提取出来的，从目标的角度来看，就是采集特定网页结构的规则。与Magic不同的是，import.io的Extractor（以及后面的另外两个功能）是一个可以独立运行的软件，具有非常直观的可视化界面，可以直观的展示提取出来的信息。

　　

　　如图3：import.io 的Extractor 非常类似于修改后的浏览器。在工具栏中输入网址，显示网页后，在浏览器中选择要抓取的数据，然后将单页结构相同的整列数据按采集有序排列.

　　图 3：Extractor 提取数据示例

　　优点：灵活采集，操作简单，可视化程度高。

　　缺点：采集数据结构化程度高。对于结构不好的数据，采集不能很好的执行。

　　GooSeeker 组织者 -

　　Jisouke 声称是“构建一个盒子并将您想要的内容放入其中”。这个箱子就是所谓的分拣箱。其原理是将需要提取的信息一个一个拖入框内，并一个个映射到排序框，吉索克程序可以自动生成提取器（脚本程序），提取器自动存储在云服务器，可以分发给世界各地的网络爬虫进行提取。

　　如图4所示，在GooSeeker中将import.io顶部的一个工具栏展开成一个工作台，在工作台上创建一个盒子，然后通过映射把网页上的内容扔到盒子里*敏*感*词*。把你想要的东西扔进盒子里。原理看似简单，但面对大盒子界面和众多HTML节点，对于新手来说有点压力。当然，复杂的界面换来的是能够处理更复杂的情况，因为有更多的控件可用。

　　图4：排序框提取数据示例

　　优点：提取精度可以微调，提取字段灵活，也适应更复杂的网页

　　缺点：可视化效果一般，需要掌握简单html的基础知识

　　综上所述，Extractor和sorting box都具有提取信息字段的功能。 Extractor操作起来比较简单直观，适用于一些简单结构化的URL，但是对于一些稍微复杂的URL，Extractor会出现无法提取的问题。 ，此时，吉索克分拣箱的优势就凸显出来了。在特别复杂的情况下，您还可以使用自定义 xpath 来定位数据。

　　3.Crawler (import.io) VS Crawler Route (GooSeeker)

　　爬虫——

　　Crawler 字面意思是网络爬虫。顾名思义，就是在深度和广度上进行扩展，以便采集更多的数据。 Crawler在Extractor的基础上实现了自动翻页功能。假设你想要采集100页的网页数据，通过import.io的爬虫功能可以一键下载100页信息采集，那么具体的采集@是什么> 过程？为了实现，笔者带大家简单了解下爬虫的采集流程。

　　如图5所示，以同城58的租房信息为例，搜索关键词后，一共找到了N页租房信息，为了提取这些租房信息爬虫的操作如下：

　　(1）采集样本数据，在首页提取需要采集的数据（如图5），采集原理同Extracor , 不在这里 更多详情。

　　图 5：爬取提取数据示例

　　(2）训练数据集，进入第二页（图6），爬虫会自动采集第二页数据（提取出来的字段和第一页一样） ，然后转到下一页，由于网页的结构没有改变，爬虫也会自动采集，循环这个训练过程，当爬虫认为已经采集到足够的训练集时（据说最多支持5个样本）（图7），训练完成，点击结束，保存，即可成功采集所有页面数据。

　　图6：爬取添加页面示例

　　图 7：已完成抓取训练样本

　　Import.io 的爬虫训练过程非常简单易懂。只需选择几个结构相同的页面进行测试，相当于告诉爬虫我要采集这些类似页面的信息，爬虫了解这些需求后，就可以下载相同结构的信息采集，但是也会有一些小问题，当有些字段稍有变化的时候，因为之前的训练需要采集的数据不一样，会漏掉这个信息，所以爬虫比较适合有非常固定的结构。

　　总结一下：

　　优点：灵活采集，操作简单，采集过程可视化

　　缺点：继承Extractor的缺点，对数据结构要求高

　　GooSeeker 爬虫路线——

　　Jisouke的爬虫路由的实现是基于排序框的。原理与Crawler基本相似，但适应性更广。

　　让我们先回顾一下组织盒子的概念。 GooSeeker一直声称是“打造一个盒子，把你需要的内容放进去”。这个概念非常简单。您可以直观地挑选出所需的网页内容并将其存储在一个盒子中。 .

　　如图8所示，以采集京东的手机信息为例，如果要采集所有关于手机信息的页面，操作如下：

　　(1）创建一个排序框，抛出要提取的数据，抓取规则会自动生成。不过操作可不是这句话那么简单，而是：

　　a) 创建一个排序框，就像点击“新建”按钮一样简单

　　

　　b) 在 bin 中创建字段，这些字段称为“爬取内容”，即将页面上的内容拖放到这些字段中

　　c) 在 DOM 树上选择要抓取的节点，并将其映射到一个字段。

　　既然它说“建立一个盒子，把你需要的东西放进去”，为什么不直观地做呢？这个地方需要改进，敬请期待即将推出的新版本中提供的直观注释功能。

　　(2）构造爬虫路线，将“下一页”映射为标记线索（如图8），设置完成后，保存后可自动获取所有页面的信息< @采集 这个过程虽然说起来很简单，但是操作起来相比爬虫还是有点不直观，需要做几个简单的映射，就是告诉爬虫：“这里是我要点击的” ,”这里是我要提取的“Take”，如下图，主要操作是针对HTML DOM的个数做的，用户要有一个简单的HTML基础，这样才能准确定位DOM节点，不限于可见文本。

　　图8：爬虫路由转向原理页面示例

　　优点：采集精度高，应用广泛。

　　缺点：可视化效果一般，需要学习练习才能上手。

　　综上所述，Import.io的Crawler和GooSeeker的爬虫路由主要完成了扩展网络爬虫的爬取范围和深度的任务。上面我们只以翻页为例，大家可以练习和体验分层爬取。爬虫的操作相对简单，但适配性也比较窄，对网站的结构一致性要求高，而爬虫路由功能相对强大，可以适应各种复杂的网站，但操作也比较复杂。

　　4.连接器（import.io）VS 连续点击（急走客）

　　连接器——

　　import.io的Connector是在网页上做动作，主要是因为URL没有变化，但是信息在深层页面。需要做完才可以显示，但是页面的url没有变化，大大增加了采集数据的难度，因为即使配置了规则，爬虫进入的页面也是初始的页面，不能采集@采集来定位信息，Connector的存在就是为了解决此类问题。连接器可以记录这个点击过程，然后采集到目标页面信息。也以58同城租房信息为例，测试Connector功能的可操作性。

　　(1）通过点击可以找到你需要的信息采集所在的页面。如图9所示，Connector可以记录用户每次的点击行为。

　　图 9：连接器操作示例

　　(2）在目标页面创建规则，提取信息。到达目标页面后，需要做的操作和前面一样，提取需要的信息采集@ >.

　　通过动手实践，发现连续点击的失败率比较高。如果是搜索，这个动作很容易被记录，但如果只是点击动作，则很难记录成功。如果可能的话，读者可以自己尝试一下，看看究竟是什么原因造成的。

　　有没有似曾相识的感觉？没错，它有点像网络测试工具。它记录动作并回放它们。用户体验非常好。录制有时会失败。似乎有一些代价。估计还是定位不准的问题。用Later进行录制时，当网页的HTML DOM稍有变化时，可能是动作放错了地方。

　　优点：操作简单，采集过程完全可视化。

　　缺点：点击动作最多只能点击10次，功能比较单一。同时，从使用上来看，连接器录音功能的故障率较高，操作失败的情况很多，这可能是直观可视化的代价。

　　GooSeeker 连续点击--

　　吉搜客连续点击的功能和它的名字一模一样。实现点击和采集的功能，结合爬虫路线，可以产生更强大的采集效果，这是一个比较高级的收客功能，可以产生很多意想不到的采集 @>方式，这里是一个简单的例子。

　　如图10所示，对于采集微博个人信息，因为这些数据必须通过将鼠标放在人物头像上来显示，所以需要吉索客的所有连续点击。功能。操作如下：

　　(1）采集目标字段，先定位网页，采集这些字段为采集，方法同上，我就不重复它们。

　　(2）设置连续动作，在执行采集之前，可以做一系列动作，所以叫“连续”。不是直观记录那么简单，需要点击“Create”按钮创建一个Action，指定它点击的位置（一个web节点，用xpath表示），并指定什么样的action，根据需要设置一些高级选项。

　　(3）如图11所示，GooSeeker也相当于记录了一组动作，也可以重新排序或添加或删除。如图11所示，没有类似的界面贴近人的录制过程。再看GooSeeker的特点：严谨的制作工具

　　图10：连续点击操作示例

　　图 11：连续动作的排列界面

　　优点：强大，采集有能力。

　　缺点：上手困难，操作相对复杂。

　　综上所述，import.io的connector在操作上还是坚持了一贯的风格，简单好用，而Jisouke也再次给人一种“生产工具”的感觉，在连续的功能上行动。 ，两者基本相同。

　　通过以上对比，相信大家对大数据采集软件import.io和Jisouke有了一个直观的了解。从各种功能的对比来看，特点主要体现在可视化、易学、操作简单。集搜客的特点主要体现在半可视化、功能齐全、采集能力强，致力于为用户提供完整强大的数据采集功能。总之，两者各有千秋，都是非常好的数据采集软件。

　　最后，有兴趣的读者可以去深入体验和研究一下，因为两者声称的价值不仅仅是软件工具，目标是“互联网数据的结构化改造，把网络变成每个人的数据库” 希望以后有机会分享这个经验。

　　技术分享:一个纯采集站长的SEO、采集、运维总结

　　我是一个纯粹的 采集 网站管理员。以下总结，有的是关于SEO的，有的是关于采集和运维的，都是很基础的个人观点，仅供分享，请明辨是非，实践出真知。

　　原创好还是采集好？

　　当然是原创好，因为百度是这么说的，谁叫别人就是裁判。

　　为什么我原创很多文章，还是没有收录？收录没有排名？

　　一个搜索引擎，其核心价值是为用户提供他/她最需要的结果。搜索引擎对网民的需求进行了统计。对于网民需求很少或没有需求的内容，即使你是原创，也可能会被搜索引擎忽略，因为它不想把资源浪费在无意义的内容上。

　　收录对于网民需求量大的内容应该越来越快。不过因为收录这么多，就算你是原创，可能也很难挤进排名。

　　搜索引擎用什么来识别网民的需求？

　　关键词。当每个人搜索 关键词 时，他/她都需要与该词相关的内容。此外，使用搜索引擎的人通常有问题和答案和搜索查询。当然，搜索引擎内部必须有一个非常庞大的分析系统，才能准确定位这些需求，详见百度索引。例如，搜索到的关键词是“手机”，很有可能你是想买一部手机或查看某个型号的价格，或者你可能只是想下载漂亮的壁纸。但是，如果你想要壁纸，会有一个更精确的关键词“手机壁纸”，会以下拉框或相关搜索的形式呈现。

　　既然原创很好，为什么要采集？

　　1.虽然原创不错，但只要方法得当，采集的效果并不比原创差多少，甚至比没掌握方法的人原创好多了。

　　2.精力有限，原创很难保证大量长期更新。如果邀请编辑，投入产出比可能为负数。

　　市场上有这么多采集器，我应该用哪一个？

　　每一个采集器都有其独特性，存在是合理的。请根据您的需要进行选择。我的采集器是自己开发的，开发过程中考虑了以下几个方面，其他的采集器也可以参考：

　　1.直接提供大量分类关键词，这些关键词都是百度统计过的有网友需要的词（有百度索引），或者长这些词的尾部词，来自百度下拉框或相关搜索。

　　2.直接按关键词采集智能分析网页正文进行爬取，无需编写采集规则。

　　3.截取的文字已经用标准标签进行了清理，所有段落都以

　　开头

　　标签显示，乱码会被去除。

　　4. 根据采集收到的内容，图片与内容的关联度一定很高。以这种方式替换 伪原创 不会影响可读性，但也可以让 文章 比 原创 提供的信息更丰富。

　　5.正文内容中的关键词自动加粗，也可以自定义插入的关键词。但是没有所谓的“伪原创”功能影响可读性，比如句子重排、段落重排。

　　6. 可以直接使用关键词及其相关词组合作为标题，或者抓取登陆页面的标题。

　　

　　7.微信文章采集可用。

　　8. 不要触发或挂断。

　　9.整合百度站长平台主动推送提速收录.

　　不同的网站 程序，例如织梦、WordPress、dz、zblog、empirecms 或其他程序如何影响 SEO？

　　理论上它没有效果。因为搜索引擎不知道你是什么程序，或者可以通过一些规则来识别，所以不可能因为程序本身的不同而影响它的判断。

　　那么什么会影响 SEO？答案是模板。因为基本上这些程序都有模板机制，同一个程序可以输出不同的页面，不同的程序也可以输出同一个页面，这就是模板。模板确定后，你的每一个页面都会按照这个框架输出，也就是整个html结构已经确定了。而这些html，是搜索引擎关注的重点，它要从这些html中获取它想要的信息。因此，一套好的模板非常重要。

　　模板设计要注意哪些细节？

　　1. 权重结构顺序。在整个页面的html中（注意是html，不是显示的布局），位置越高，权重越高。由此衍生出“title”、keyword、description这三个标签是最高级、权重最高的。第二个通常是导航，基本都是顶，权重也很高。同样，文章 标题和正文。这是按照html的前后排序的。

　　2. 因为搜索引擎首先要遵循W3C标准，所以W3C定义的一些标签本来就是用来表示重要信息的，其权重自然很高。比如特别是h1，用来表示当前页面最重要的信息。重要信息，一般每页只能有一个，其权重估计相当于标题，通常用来放当前页的标题。当然，为了提高首页的权重，可以使用h1来放置logo或者首页链接。的。此外还有em、strong等标签，用于表示强调。一般认为strong的权重高于tags，也是加粗的，但我们认为从SEO的角度来看，并没有权重增强。

　　3. CSS 或 js 代码通常对搜索引擎没有意义，尝试使用单独的文件存储，如果允许的话放在 html 的末尾

　　网站结构规划要注意什么？

　　1. 网址设计。 URL 还可以收录 关键词。例如，如果您的 网站 是关于计算机的，那么您的 URL 可以收录“PC”，因为在搜索引擎眼中它通常是“计算机”的同义词。 URL不要太长，层级尽量不要超过4层。

　　2. 栏目设计。列通常与导航相关联。设计要考虑网站的整体主题，用户可能感兴趣的内容，列名最好是网站的几个主要的关键词，这样也方便导航权重的使用.

　　3. 关键词布局。理论上，每个内容页面都应该有它的核心关键词，同一个栏目下的文章应该尽可能的围绕关键词栏目转。一个简单粗暴的方法是直接使用关键词列的长尾关键字。

　　动态、伪静态或静态，哪个更好？

　　这不能一概而论，建议使用伪静态或静态。三者的区别在于是否生成静态文件以及URL格式是否为动态。生成静态文件本质上是为了加快访问速度，减少数据库查询，但是会不断增加占用的空间；伪静态仅通过 URL 重写来修改 URL。对于加速访问完全无效。动态和伪静态的区别仅在于网址，带有问号和参数。

　　所以只要注意两点：网站打开速度够快吗？您需要节省服务器空间吗？

　　不同的网站程序可能有不同的数据库操作效率。一般来说，如果内容页数小于10000，页面打开速度比较快，数据量较大，达到50000、100000甚至更多，通常需要考虑静态。

　　提高访问速度的方法有哪些？

　　1. 如上所述的静态。

　　2. 通常很多 网站 模板都有随机调用 文章 或类似的部分。其实对于数据库来说，随机是一个比较重的负担，在模板中随机文章的调用应该尽量减少。如果无法避免，可以考虑从数据库优化。对有索引的字段进行排序通常比没有索引要快得多。

　　3. 将图片、js、css等不经常修改的文件放在专用的静态服务器上。多个js或者多个css可以尽量合并到一个文件中，减少http连接数。

　　4. 使用各种云加速产品。对于普通的网站，免费的百度云加速或者360云加速也可以。

　　

　　文章有很多，网站静态已经开启，但是每次更新全站都需要很长时间怎么办？

　　我的方法是使用缓存机制。这里只是一个想法，可能需要自己二次开发。

　　网站 设置为伪静态。当每个请求到达时，程序会检查是否有对应的缓存html文件。如果文件是几小时或几天前生成的，我们确定它需要更新。此时，执行正常处理。程序查询数据库，生成html，写入缓存文件，然后输出到客户端。

　　下次访问到来时，比如1分钟后再次访问同一页面，再次查看缓存文件时间。从时间上可以判断文件很新，根本不需要更新，直接读取文件内容输出到客户端。这样每个页面都可以自动生成，只有第一个访问者会觉得速度慢。后面的访问者相当于静态访问，速度很快。

　　如果是独立服务器，也可以考虑自动检测服务器负载。如果负载已经很高，即使判断需要更新，也暂时不更新，直接输出。

　　引用远程 URL 还是放在我自己的服务器上更好？

　　这也有它自己的优点和缺点。引用远程URL可以节省自己的带宽，但是很有可能由于对方服务器速度慢、删除资源、防盗链等原因导致图片无法显示。如果下载到自己的服务器，当然一切都在自己的掌控之中，但是图片会占用很大的空间，可能会比一般静态生成的占用空间更大，而且如果访问量很大，图片会占用最多的带宽。

　　网站内部链接应该如何优化？

　　内链是百度官方推荐的优化方式之一，一定要做。通常的表达形式是文本中出现了某个关键词，在这个关键词上加了一个链接，指向另一个页面恰好是这个关键词的相关内容于是就诞生了一些所谓的优化技术，在文本中强行插入一些关键词和链接，进行类似相互推送的操作。其他人为了增加首页的权重，到处放网站的名字，并做一个指向首页的链接，认为这样可以增加目标页面的权重。但这些很可能会适得其反，因为搜索引擎会计算每个链接的点击率。如果您点击了一个位于显眼位置但很少被点击的链接，则可能会被判定为作弊。因此，请只在文本中已有的关键词上进行内部链接，仅此而已。

　　段落重排、句子重排和同义词替换有用吗？

　　不好。因为搜索引擎已经智能化，不再是简单的数据库检索，它会分析自然语义（详情请搜索“NLP”），任何语义分析困难的句子或段落都可以判断为可读性差，所以我认为这些“伪原创”可能是自命不凡的。

　　评论模块基本不用，该用还是不用？

　　是的。评论模块最麻烦的就是垃圾评论。通常，真正说话的访客很少，垃圾评论很多。他们整天都在与营销软件竞争。这是我实现的一个解决方案，可能对收录有帮助（没有依据，只是猜测）：

　　保留评论框，但禁用评论。所有评论均由自己的 网站 程序生成。如前所述，搜索引擎会分析自然语义，其中重要的能力之一就是情感判断。搜索引擎会计算每条评论的情绪值，无论是正面（positive）还是负面（negative），具体倾向是10%还是90%。如果评论的内容表达了积极的情绪，你可以给你的文字加分，否则你可能会失分。至于如何自动生成好评，就让八仙渡海大展神通吧。

　　这是社交网络发展后的必然趋势，用这种方式来体现一个页面的用户体验。同理，还有分享、点赞等，原理大同小异。

　　绿萝卜算法之后，外链还有用吗？

　　有用。请参阅搜索引擎三定律的相关性定律。既然是法律，就不会改变。谁的内容被引用的多，谁的权威。在主动推送出现之前，外部链接应该是蜘蛛知道页面内容的第一通道。

　　外部链接必须是锚文本还是裸链接？

　　没有。搜索引擎有很大的责任去尝试找到真正有价值的东西并排除那些没有价值的东西。所以，有可能是你直接提交的链接没有收录，而你在别人的地方发了一个纯文本的URL，结果被发现了，加分计算了。

　　除了锚文本和裸链接外，还可以发送关键词+URL形式的纯文本。这样，URL前面的关键词就会自动和URL关联起来了。

　　另外，虽然有些链接有nofollow属性，但是在百度计算外链的时候还是会计算出来的。

　　收录和索引是什么关系？

　　收录 表示蜘蛛已经爬过并分析了它。该索引表明该内容经过蜘蛛分析后具有一定的价值。只有输入到索引中的内容才会出现在搜索结果中并显示给用户。也就是说，只有被收录的内容才有机会带来流量。