自动采集yoka、天猫、京东及当当等网站的所有商品详情及图片信息

　　自动采集yoka、天猫、京东及当当等网站的所有商品详情及图片信息

　　原创文章自动采集yoka、、天猫、京东及当当等网站的所有商品详情及图片信息，采集每一个网站4000多页的数据，采集数据量超过1000tb，除了yoka，，天猫，京东之外，yotoa、达令家、亚马逊、当当网也包含在内，文末附采集教程，复制打开链接即可。作者：链接：：慕课网提取码：dfqc一、爬取所有商品详情页商品详情页一共4000多页，每页4000多条数据，我们分开来讲解。

　　1.1理解url地址我们打开之前爬的每一个网站的采集，利用yoad会员免费的aiohttp异步加载库，得到下面地址。我们先来看下浏览器的地址栏，首先，这个url必须是英文状态，并且前面加上/，和请求头，如下图：1.2采集数据详情页第一步打开优采云采集器（注册账号即可免费领取），点击红框标注的【新建任务】，创建一个新的爬虫任务（这里以app.yoperatext为例，将空格去掉）。

　　在【页面源代码】中的右下角，点击新建一个csv文件。然后点击红框标注的【保存】。将保存路径以及空格和引号去掉，并写入csv文件中。如下图：在获取数据源之前，我们需要去了解一下爬虫的运行规则：详情页在不同位置采用不同的动作，详情页分为三个阶段：阶段一：搜索页——在输入条件之后，在搜索页方框下方产生了一个for的翻页指令，比如说现在要爬取/http://的商品详情页，搜索页请求如下图：阶段二：点击浏览器中的【开始采集】按钮，产生一个采集列表，点击列表中的任意商品名即可进入详情页采集。

　　如下图：阶段三：点击浏览器中的【结束采集】按钮，整个url地址变为srtf，输出到html文件中，如下图：在以上三个过程中，每个阶段都需要提交请求，获取输入的url，我们可以看到，阶段二包含三个请求，分别是：url=“/”请求头：src后跟了一个点+：是http开头的请求，可以进行get请求。

　　surl=“/”请求头：src后带了一个http://为请求url的前缀（http://）请求方法不同，url后带的动作不同。2.我们爬取什么网站？爬取我们刚刚创建的csv文件内容，即：第一个阶段：阶段一：test1第二个阶段：test2首先登录优采云爬虫，然后点击【新建任务】，选择【基于web】，并且点击【下一步】。

　　在弹出的页面中选择【爬取所有】，然后点击【下一步】。3.详情页采集（本阶段以python2.7.0为例，其他版本操作类似）爬取详情页采集页面这边分为两步：分析url，获取商品详情页链接。打开浏览器-查看页面源代码，我们可以清楚地看到，商品详情页一共有4000多页，页。