c爬虫抓取网页数据，比如百度全部关键词爬虫。

　　c爬虫抓取网页数据，比如百度全部关键词爬虫。

　　c爬虫抓取网页数据，比如百度全部关键词爬虫。update2：20190913又看了一下，问题中是纯元数据。本身元数据没有地域归属。这样设置，useragent提供的信息仅限于ip和mac地址，而你能爬取的并不是这些信息。你需要axios+request来注册scrapy，才能爬取以外的信息。以下为20190710补充：github上有提供examples：examples|scrapy学习。

　　nlp方面，有一些国内论坛可以去学习。比如，通过python的poc文本识别正则表达式（抓取百度网页上的文本信息，并翻译英文，但非微信的文章信息）。

　　如果你是零基础的话，推荐去csdn看看一个和你问题有相似需求的人在使用什么框架和数据库。web的话，爬虫爬取评论数据用前端selenium。找相关的网站翻译一下。如果可以看懂的话可以试着写一个爬虫这样。我目前是这么干的，具体不太懂。感觉时间比较紧，

　　回答你的问题首先要说明的是，市面上比较多，国内的，国外的，mongodb等等很多，我只知道其中的一款，如果你想学习爬虫的话，建议去学习一下，因为爬虫要对各种兼容性进行分析，可能你需要写几个框架，从最开始的caffe到其他的，从此要自己写框架，初学的话，这些框架你可以选择一个，其实安卓，ios都可以搭建自己的网站，反正不都是web吗，所以你也可以去学习一下。

　　并不是不会，是因为没经历过，作为初学者，建议还是先学一些框架，比如requests+xpath+beautifulsoup4（因为本人java基础不是很好，所以选择了前三个，做练习可以选择其他的)lxmlpyquery等等或者直接学一下flaskpyramid都可以。自己先去学一下其他的，然后了解一下api，通过各种api写一个网站，网站出来以后在选择一个框架，这样一来，一切都会水到渠成。