采集工具(小爬虫爬取五六个商家平台的商品列表信息)

　　采集工具(小爬虫爬取五六个商家平台的商品列表信息)

　　采集工具爬虫爬虫是一种面向网络的自动化抓取工具。在开始推荐工具之前，先简单介绍下爬虫。所谓爬虫，是通过动态翻墙的方式，到其他国外网站上抓取其他网站的内容，并传到自己国内服务器，实现自动的创建账号，抓取与存储内容。最近要写一个小爬虫爬取五六个商家平台的商品列表信息，整理了以下几个通用且常用的爬虫：下拉搜索下拉搜索是一种比较简单的爬虫，所以就着这个来给大家说道说道。

　　准备工作关于爬虫需要的准备，大概可以分为两部分，一个是下载器（如acfun下载器），一个是编程工具。下载器我们常用的是download_toolkit这个包，这个包中提供了多种方法。另外一些其他的包例如kip950，userverface等也是可以安装并运行的。编程工具最常用的是python3.5，另外最后要一个urllib，稍微推荐下numpy。

　　python3.5、urllib3和numpy大家都常用的。例如利用网页编程自动生成数据，或者搜索功能自动转换地址为相对地址，等等。另外就是requests和beautifulsoup这两个web请求库，爬虫初学者可以先安装下，等后面到了熟练编程的阶段，可以再使用。安装介绍依次安装好python3.5，urllib，pip和requests（没必要，有些urllib之前也可以使用）即可。

　　或者使用传统的pip安装方式在终端下输入pip3install--upgrade--upgradepip3如果已经安装pip3-pip或者urllib可以使用requests库里的requests.urlopen方法来正则化。例如我目前想要爬取“可口可乐旗舰店”的商品列表，由于商品列表太长，我所需要用到的内容，只有“xyz可口可乐”这5个字，所以使用beautifulsoup把内容分成几条进行处理。

　　我们可以看到，这个功能在商品列表页面就已经实现了，我使用webdriver打开urllib库的目录看下就明白了，webdriver里面是直接实现了requests.urlopen方法的。所以我们重点看看我们的功能。数据准备首先我们需要获取“可口可乐旗舰店”里的内容，然后提取出来，得到一个url代表我们想要爬取的内容，是“zhuangbao可口可乐”，或者“alipay可口可乐”即可。

　　解析查询列表大概的思路是根据公式根据下拉框的内容定位的。解析首先我们需要知道“alipay可口可乐旗舰店”的具体字段在哪里。那么我们现在要做的就是准备好alipay可口可乐旗舰店的代码。requests的代码里有一个headers段代表请求头（有时候我们有多条请求的话，不会区分请求头部分哪些是请求头部分哪些是请求头部分，在这里特别注意）。当然，常用的代码一般会带很多get方法，但在项。