行业解决方案:美团商家信息采集神器

　　行业解决方案:美团商家信息采集神器

　　在github上找一个美团项目，就可以拿到指定城市的商家信息，分分钟就可以搞定上百条商家信息的数据。信息包括店铺名称、地理位置、评分、销售额、电话（这是重点）。

　　它已经很久没有更新了。今天写文章的时候，附上这个有价值的项目的下载地址。

　　这篇文章是我自己写的xpath笔记。不想看的可以直接翻到文章底部的代码下载地址。

　　可惜项目是用scrapy写的。其实我并不想用框架，但是把这个项目改成可运行代码花了一天的时间。在更改过程中，我再次熟悉了scrapy。决定学习xpath，然后用scrapy写几个爬虫。

　　除了css，scrapy的选择器最好用xpath。现在需要练习使用xpath。

　　Xpath 简介

　　一般来说，使用id、name、class等属性定位节点可以解决大部分解析需求，但有时在以下情况下使用Xpath会更方便：

　　没有id、name、class等。

　　标签的属性或文本特征不重要

　　标签的嵌套级别太复杂

　　Xpath 是对 XML Path 的介绍。基于XML树结构，可以在整棵树中找到并锁定目标节点。由于 HTML 文档本身是一个标准的 XML 页面，我们可以使用 XPath 语法来定位页面元素。

　　Xpath定位方法一、Xpath路径

　　Xpath路径案例定位节点

　　

#查找html下的body下的form下的所有input节点

/html/body/form/input

#查找所有input节点

//input

　　通配符 * 选择未知节点

　　

#查找form节点下的所有节点

//form/*#查找所有节点//*

#查找所有input节点（input至少有爷爷辈亲戚节点）

//*/input

<p>

</p>

　　其次，在过滤元素时如果有多个节点，但我们要确定唯一的节点，使用索引（这是我自己的理解）。可以以类似于列表索引的方式进行精确定位。

　　案子

　　

#定位 第8个td下的 第2个a节点

//*/td[7]/a[1]

#定位 第8个td下的 第3个span节点

//*/td[7]/span[2]

#定位 最后一个td下的 最后一个a节点

//*/td[last()]/a[last()]

　　3. 使用属性 为了让定位更准确，和使用索引类似，我们想要增加信息量，那么也可以使用属性。@ 符号是属性

　　#定位所有包含name属性的input节点

//input[@name]

#定位含有属性的所有的input节点

//input[@*]

#定位所有value=2的input节点

//input[@value='2']

#使用多个属性定位

//input[@value='2'][@id='3']

或者//input[@value='2' and @id='3']

　　4.常用函数除了索引和属性，Xpath还可以使用方便的函数来增强定位的准确性。下面是一些常用的函数：

　　

　　

应用推广

#定位href属性中包含“promote.html”的所有a节点

//a[contains(@href,'promote.html')]

#元素内的文本为“应用推广”的所有a节点

//a[text()='应用推广']

#href属性值是以“/ads”开头的所有a节点

//a[starts-with(@href,'/ads')]

　　5.这部分Xpath轴类似于BeautifulSoup中的兄弟、父母、孩子方法。有时候，为了实现定位，我们不得不拐弯抹角，七阿姨和八阿姨的远房亲戚走来走去就认识了，就定位到了。

　　6. 我在美团商户信息码中提供了一个高德api_key，但是如果你用的太多了，就不能互相使用了。建议您自己申请。

　　

#在高德注册，进入控制台

http://lbs.amap.com/

　　这是郑州市几十秒内采集的数据。

　　Tips：修改GAODE api_key找到项目中的设置，修改GAODEAPIKEY参数为你的应用号的api_key。

　　更改城市在项目中找到设置，将CITY_NAME参数修改为你想要的城市采集

　　运行主程序采集数据工程文件夹找到main.py并运行，就可以愉快的获取数据并保存到data.csv。

　　项目下载链接：密码​​：e7dz

　　行业解决方案:互联网公司不敢泄露的采集软件，全是黑科技

　　朋友们一直在问我们，为什么我们的同行网站通过采集软件的采集内容比我们原创的内容收录和流量要高，这是什么情况？这让他不解。今天给大家讲讲采集站的原理和采集站的一些思路！

　　为什么 采集software采集 的内容比 原创content收录 更好？

　　相信很多朋友都对这个问题感到困惑，我为什么这么努力写原创文章，百度就是不写收录，还有同事网站 收录天天几十上百篇，百度看不到吗？（百度是机器算法检测），很多时候想放弃写内容，直接用采集。担心被百度检测到导致K站，这让我很纠结。但是同龄人还好！

　　我们来看看分析一下peer的采集station收录，流量一直在增长。

　　1、通过网站发现网站，每天早上10点发布200篇文章文章。这一定是因为 采集 软件设置了发布时间。

　　

　　详解：为什么要设置定时发布？搜索引擎蜘蛛必须知道这个网站更新的频率和规律，所以10点这个时间节点容易出现秒收录的现象。如果你是原创内容，建议你定期定量更新发布你的网站，定期更新网站会让搜索引擎蜘蛛更喜欢它，搜索引擎蜘蛛也会也减少了自己服务器的压力和爬网站的频率，我比较喜欢定期更新内容，采集软件就满足了这一点。一是保证网站的内容及时更新，二是还可以减轻两台服务器的压力。

　　2、很多采集软件都是采集最新最火的内容。百度特别喜欢最新最火的内容，相当于为这些内容打开了一个快速通道。

　　详细描述：比如今天发生了一个行业相关的热点事件。如果百度没有收录相关内容，那么用户会去其他地方搜索此类相关报道或内容。为了留住用户，百度肯定会收录@收录相关内容，网站自然也会得到相应的流量。

　　3、使用采集软件的网站每日发布量巨大。如果每天只发布几张文章，那就不用采集这个软件了，直接复制粘贴修改即可。平时写文章，每天写2篇原创文章。已经很不错了，很多人甚至每天发布一篇文章。是的，使用采集的软件的发布量肯定很多。搜索引擎看到这么多数据更新，肯定会增加爬取频率，增加收录。

　　

　　采集软件玩法网站 思路

　　我们怎样才能利用采集软件来制作网站呢？采集这个软件我用了好几年了，对这些地方我非常关注。

　　1. 采集的文章被修改或使用了伪原创的功能

　　2、采集的内容排版更好，带图更容易被搜索引擎收录搜索。

　　如果你看过这篇文章文章，如果你喜欢这篇文章文章，不妨采集或转发给需要的朋友和同事！你的一举一动都会成为小编源源不断的动力！