客户发过来一个微信公众号小说分析列表页的分析方法

优采云 发布时间: 2021-08-13 23:06

  客户发过来一个微信公众号小说分析列表页的分析方法

  今天有客户发了个微信公众号小说文章链接,让我看看能不能用优采云爬下来,打开手机后发现没有问题,可以很可能被爬行。搞定了,一般采集微信公众号小说网站,我在PC端从公众号爬取,抓包很方便,但是在PC端打开的时候是这样的:

  

  无法在PC端打开。这很麻烦。如果PC客户端无法打开,则无法捕获数据。我该怎么办?

  因为之前在安卓模拟器里抓过app,微信上没抓到。然后我在模拟器里装了个微信,登录,然后就抓包成功了,抓包成功了就随便说什么了。国家队。

  

  点击图片看大图

  题外话:Fiddler还是用来抓微信数据包的。需要设置fiddler和模拟器,因为细节较多,这里不再赘述。

  抓包后开始分析,分析列表页,分析内容页,这种网站,一般的内容页章节需要付费,这种情况可以通过vipcookies解决,还有章节内容没有问题。

  分析list页面的时候发现前15章都是get请求,其余都是post请求。其中一半是get,一半是post请求。除非使用插件,否则很难在优采云 中设置。 ,陶小白仔细观察每一章的特点,发现可以直接跳过小说目录页的请求,直接列举章节。每章的最后一个数字在增加,有200章,最后一个。章节url的最后一个数字是200,所以就详尽列举每部小说。

  最后填入vipcookies就可以顺利爬取了。以上为采集的单本,客户端针对采集,将好的、热门的小说爬下来上传到自己的平台。

  需要采集微信公号小说站的朋友请联系站长

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线