python抓取动态网页(微信朋友圈的数据入口搞定了，获取外链的消息提醒)

　　python抓取动态网页(微信朋友圈的数据入口搞定了，获取外链的消息提醒)

　　2、 然后在首页点击【创建图书】-->【微信相册】。

　　4、 之后，耐心等待微信本的制作。完成后，您将收到编辑器发送的消息提醒，如下图所示。

　　至此，我们已经完成了微信朋友圈的数据录入，并获得了外链。

　　确保朋友圈设置为【全开】，默认全开，不知道怎么设置的请自行百度。

　　5、 点击外部链接，然后进入网页，需要使用微信扫码授权登录。

　　6、 扫码授权后，即可进入网页版微信，如下图。

　　7、 然后我们就可以写一个爬虫程序正常抓取信息了。这里，编辑器使用Scrapy爬虫框架，Python使用版本3，集成开发环境使用Pycharm。下图是微信书首页。图片由编辑器定制。

　　二、创建爬虫项目

　　1、 确保您的计算机上安装了 Scrapy。然后选择一个文件夹，在该文件夹下输入命令行，输入执行命令：

　　, 等待Scrapy爬虫项目生成。

　　scrapy genspider'时刻''chushu.la'

　　, 创建一个朋友圈爬虫，如下图所示。

　　3、执行以上两步后的文件夹结构如下：

　　三、分析网络数据

　　2、 点击“Response”（服务器响应），可以看到系统返回的数据是JSON格式的。说明后面我们需要在程序中处理JSON格式的数据。

　　3、 点击微信“导航”窗口，可以看到数据按月加载。当导航按钮被点击时，它会加载相应月份的 Moments 数据。

　　4、 点击【2014/04】月，然后查看服务器响应数据，可以看到页面显示的数据对应的是服务器的响应。

　　5、查看请求方法，可以看到此时的请求方法已经变成了POST。细心的小伙伴可以看到，点击“下个月”或其他导航月份时，首页的网址没有变化，说明该网页是动态加载的。对比多个网页请求后，我们可以看到“Request Payload”下的数据包参数在不断变化，如下图所示。

　　6、将来自服务器的响应数据展开，放入JSON在线解析器中，如下图所示：

　　可以看到Moments的数据存放在paras /data节点下。

　　至此，网络分析和数据的来源已经确定。接下来，我将编写一个程序来捕获数据。敬请期待下一篇文章~~

　　看完这篇文章你学会了吗？请转发并分享给更多人

　　Python爬虫和数据挖掘