c爬虫抓取网页数据(爬取的人物画像（数据的实时性）难点打赏礼物)

　　c爬虫抓取网页数据(爬取的人物画像（数据的实时性）难点打赏礼物)

　　后台抓取某直播平台信息和普通网站直播平台数据有热门主播在线数，经常，热门直播的送礼情况（粉丝头像） 送礼难度人像httpswss（实时数据），需要模拟匿名用户的访问。一个直播的wss数据网站是一个大二进制数据头的js代码。您需要先模拟匿名登录才能获取二进制数据。然后分析网站的js代码进行分析。找到工具chrome developer tool，选择f12 ws，你只能看到帧在移动和我们两个不认识的二进制。Wireshark，遗憾的是，我报了很大的希望，但是通过websocket找不到，我马上分析了一下。我想我不知道如何拦截它。稍后我会研究如何使用它。看到有人说直接搜索websocket就可以看到。. 但是通过websocket过滤器我真的找不到我想要的数据。除非通过ip.addr ip.src 等charles，意外发现。名副其实，查尔斯。虽然一开始不太好用，但总算搞定了，下面详细说说怎么用。首先激活charles工具 一开始不太好用，终于搞定了，下面详细说说怎么用。首先激活charles工具 一开始不太好用，终于搞定了，下面详细说说怎么用。首先激活charles工具

　　// Charles Proxy License

// 适用于Charles任意版本的注册码，谁还会想要使用破解版呢。

// Charles 4.2目前是最新版，可用。

Registered Name: https://zhile.io

License Key: 48891cf209c6d32bf4

　　安装 ssl 证书支持

　　help->SSL proxying->install charles root certificate

下面这篇文章说的非常好

https://www.cnblogs.com/ceshijiagoushi/p/6812493.html

　　设置代理，和上面的文章一样，但是我推荐使用*:443查看结果。在浏览器上访问你要访问的网站普通https网页。您已经可以看到背面的内容。同样wss的爬取也出来了，只是具体的二进制数据。还是需要你自己分析

　　目前可以抓到数据，下一步就是对二进制数据进行分析解析，得到有价值的数据。

　　原创文章，版权所有，禁止抄袭，违者必究！！！请注明出处！！！技术需求请联系。