干货教程:站群文章采集器(reversedocumentprocessor)关键词集合-createredmetadirectsend

　　干货教程:站群文章采集器(reversedocumentprocessor)关键词集合-createredmetadirectsend

　　站群文章采集器(reversedocumentprocessor)该模块使用directsend来集中批量获取文章页面上不同的内容。它仅是一个集合，集合里的内容就像是关键词集合（tag）一样：通用目录文章页面内容摘要-首页_next列表_density关键词集合-createredmetadirectsend和density||两个函数先后使用方法。

　　爬虫scrapy的话就是urllib.request.urlretrieve()

　　这个工具是用requests打包成字典返回的，

　　requests是scrapy的一部分所以和scrapy中其他的工具是一样的requests爬虫在实现过程中就用到了很多现成的库

　　自己做了个example！

　　urllib写法。

　　requests，

　　requests

　　-example.aspx#get/post#requests(post)-example.aspx#get/post#requests(get)

　　我不懂你说的一定要掌握是怎么个情况我就按照我的理解来讲了！我的理解是scrapy没有专门用urllib.request实现过这个功能，所以有requests爬虫的，都是用scrapy内置request方法来实现这个功能的。你应该也是按照scrapy来学习的，他有scrapyshell命令行工具来专门实现对http请求的回显！。

　　同问有什么好的scrapy爬虫库？-掘金采集器