如何采集小红书最新版(2018年9月)数据

　　如何采集小红书最新版(2018年9月)数据

　　本文原创作者：鲲之鹏（）

　　本文原创链接：

　　小红书（），号称拥有超过一亿用户的生活方式分享社区，其用户笔记内容涵括吃穿玩乐买，涉及潮流、护肤、彩妆、美食、旅行、影视、读书、健身等各个生活方式领域，再加上社区每晚形成数十亿次的笔记爆光，正如顾客所言，其平台是集social和commerce于一体的，其数据价值可想而知。

　　小红书的数据起初也并不难采集，通过Web版的搜索插口，结合相应的搜索词，就可以搜索到感兴趣的笔记，进而搜集到笔记的详情数据。然而好景不长，随着小红书完成了一轮超过 3 亿美元的财务融资，小红书的平台插口也发生了很大的变化：Web版的搜索插口直接关掉，小红书App的应用成为主流。这样一来，之前通过Web版的搜索插口来抓取数据的方式，就直接被封死了。

　　既然Web版的插口不能用了，那就只能瞧瞧App的插口了。通过抓包工具，可以获取到小红书App的搜索插口。

　　这里使用的搜索词是“香奈儿63”，对应的搜索插口URL如下：

　　%E9%A6%99%E5%A5%88%E5%84%BF63&filters=&sort=&page=1&page_size=20&source=explore_feed&search_id=927A522C26DC8FD699971F1B1C1F6838&platform=Android&deviceId=560c6663-a66f-3aab-aff8-a8fe7bc48809&device_fingerprint=237dab00272f54a61a24dbf8e788810c0ac01ea060ac16b8048&device_fingerprint1=237dab00272f54a61a24dbf8e788810c0ac01ea060ac16b8048&versionName=5.24.1&channel=Sogou&sid=session.78290029&lang=zh-Hans&t=1536298303&sign=dd2764c4258e12db80fbe5df11e01af0

　　可以看见，App插口中的参数好多。然而经过测试，发现那些参数不能更改，改了递交都会失败。而且，这些参数（搜索词keyword除外）也未能自行构造（注意sign参数，这是现今反采集常用的签名保护机制）。看来此路不通啊，抓数之旅再度陷入僵局。

　　还好，细心的鲲鹏技术人员发觉，除了App，小红书还有个陌陌小程序，于是展开又一轮对小红书陌陌小程序的剖析研究。

　　再次抓包剖析发觉，小红书陌陌小程序的插口可以更改参数，但是其中三个参数看起来是有有效期的。

　　测试发觉，只要这三个参数有一定时间的有效期，那就可以在这个有效期内，改变keyword进行搜索，并得到正确的数据。 那么，怎么能第一时间获取到这三个参数呢？鲲鹏技术人员通过研究发觉，可以用模拟操作陌陌小程序的方式，自动操作手机上的小红书小程序，同时用程序手动抓包截取，提取到最新的插口参数以供爬虫使用（如下图所示）。

　　敢想敢为，鲲鹏技术人员积极探求，大胆尝试，克服重重困难，终把看法弄成了现实。首先通过手动模拟操作程序，操作手机上的小红书小程序，然后抓包提取到最新的插口参数；接下来使用获取到的插口参数，结合搜索词执行搜索，并搜集搜索结果中的笔记相关数据；最后步入笔记详情页，提取所有须要的相关数据。大功告成！

　　附：

　　通过小红书陌陌小程序插口抓取到的搜索结果数据(部分数组)示例如下图：

　　点击这儿可以查看在线示例数据

　　说明：该文章为鲲之鹏（）原创文章 ，您不仅可以发表评论外，还可以转载到别的网站，但是请保留源地址，谢谢!!（尊重别人劳动，我们共同努力）