文章采集程序自己写python爬虫爬数据做了一个python的抓包工具

　　文章采集程序自己写python爬虫爬数据做了一个python的抓包工具

　　文章采集程序自己写python爬虫爬数据做了一个python的抓包工具，当然不是完整的抓包，抓包只是为了看返回的数据具体是什么，有没有加密信息。采集数据可以采集天猫等各大电商平台的商品图片、商品名称、产品信息和用户评价，返回原始数据到本地list文件，也可以作为爬虫工具来进行爬虫数据分析处理。按需抓取各平台销量排名前100的宝贝商品，并进行分析。

　　实现思路是这样的：1.定位销量排名前100的商品商品链接中，有一些商品是没有链接的，不容易访问，所以需要爬到其中的链接。2.爬虫爬取商品链接中的产品信息和用户评价中的对应评论3.按照有评论的分析其中的用户需求，设计页面导航4.将导航展现到页面上，以参考页面形式展现实现步骤：1.定位销量排名前100的商品链接1.登录电商平台，点击搜索框右侧“商品详情页”按钮，然后输入你想爬取的商品名称，商品链接。

　　2.出现以下界面表示找到了商品，但是还没有销量2.爬取商品链接中的产品信息1.打开天猫，并且登录一个账号，登录后，在商品列表页往下看到三个选项进行搜索，若没有可以不进行搜索。找到商品链接中的产品名称。2.爬取产品名称后，就会出现新页面，出现商品信息对应的产品图片，产品名称对应的产品信息和评价，在商品列表页往下看到商品详情页也有链接。

　　出现的都是你输入的产品信息出现的对应商品信息，在里面找到你想要分析的商品名称，然后进行爬取。如果找不到你想要的产品信息或者没找到就进行下一步3.爬取商品评价1.先打开，点击搜索框右侧“商品详情页”按钮，然后输入你想爬取的商品名称，商品链接。2.点击出现的产品详情页对应产品信息，在出现对应页面页面会出现商品链接中的产品名称和详情页对应的详情页的链接，如下图所示4.转到购物车页面，在购物车页面下，会出现查看商品信息和评价信息，点击下拉框，在出现的下拉框中按照下图框中所示跳转到商品详情页详情页有多个选项，右键你需要爬取的商品进行复制，左键点击的产品不进行浏览选择评价有多少，再点击想要爬取产品的详情页即可在python中将已经抓取到的数据整理成新的数据框1.点击新建数据框，会有以下内容links：表示本地查看本页浏览信息，id:表示数据框的编号，数据框中不需要再创建其他内容menu:表示页面，商品入口url:表示路径shop:页面网址，这里是天猫2.点击转化为数据框，会出现这个界面，在新数据框写入你要爬取的内容，包括商品名称，商品链接，产品图片3.点击生成数据列表，出现如下界面，根据你自。