c爬虫抓取网页数据(基于官网中几篇介绍爬虫抓取存储相关知识(一))

　　c爬虫抓取网页数据(基于官网中几篇介绍爬虫抓取存储相关知识(一))

　　c爬虫抓取网页数据，支持mongodb、redis和microsoftsqlserver等存储方式。抓取所有种类爬虫，包括弱口令、攻击的ip抓取和一些非法ip抓取数据的方法。由于mongodb存储支持nosql特性，实时更新发布；同时由于mongodb做搜索或数据库都有很好的一致性和完善的数据结构，更强大的功能等优势，所以多数爬虫数据抓取服务器从这方面考虑推荐使用mongodb存储抓取的数据。

　　地址:官网:spideringtheweb:webspiderengine本文章基于官网中几篇介绍爬虫抓取存储相关知识的文章实践出来，更准确和全面的剖析有些难度，特注明下详细地址和下载地址供方便地阅读！感谢作者提供的mongodb百度云地址，对应文件都已提供链接，直接上链接，不必复制下载地址的文件。

　　高并发对爬虫的要求非常高，大部分crud的业务爬虫应该实现下面目标:首先将页面转化为文件，保存到文件夹下，每次爬虫调用时从文件夹下读取文件，再将解析好的静态页面保存到文件并保持原始库的key和value的值。页面分析，知道页面长什么样，知道每页会有多少个ip。抓取每一页的url，知道url长什么样，知道url中每个参数是做什么用的。

　　封装session等对页面抓取相关方法。自动爬取，用于持久化存储爬虫运行相关数据到mongodb中。页面分析，对应页面分析有没有规律性，知道每一页page是否正常，页面的数据有没有碎片，是否有连续的ngif，有没有重复的信息等，而不是局部数据等。抓取页面，抓取每一页的信息，抓取子页面的信息。爬虫保存格式，分类提取mongodb存储，自定义保存数据。

　　basicdatalog数据模型，对网站网页中的整个可信结构进行保存，作为全局唯一的mongodb挂载数据模型，mongo到这里，basicdatalog这里要考虑一个问题是page的大小。是否需要抓取子页面，每一个子页面的数据是否是最近添加的且保存在mongo.redis.blob("filename")的字典{"content":{"code":"0","data":"bear"}}中。

　　因为mongo上存储的html是json格式的，不允许json取出，所以子页面的数据存放在blob中。很多朋友常常不能理解子页面和页面mongoblob之间的区别，我解释下，比如page={"content":{"data":[{"code":"1","data":"qin"}]}}是json数据，page={"content":{"data":[{"code":"2","data":"title"}]}}是json数据，page={"content":{"data":[{"code":"3","data":"mangle"}]}}是j。