文章网址采集器(微博（nsfw）>*敏*感*词*（baiduobag）百度论坛（pc_let）)

　　文章网址采集器(微博（nsfw）>*敏*感*词*（baiduobag）百度论坛（pc_let）)

　　文章网址采集器，可以把页面内容抓取下来，一般来说都是阿里云服务器，当然也可以自己搭建服务器，但是大家都会配置一点爬虫的基础知识。其实我们做了一个不错的网站，优点是页面几乎全部抓取，缺点是爬取时间稍微有点长（以后会在react版本有更改）其实大家去抓一下就知道，抓取难度从低到高分别是，微博（nsfw）>*敏*感*词*（baiduobag）>百度论坛（pc_let'sgo）如果需要转载，请先获得原作者同意我的网站需要的东西有1.一个网页数据抓取器（建议用react-request自带request方法）request2.抓取数据库（可以考虑mongodb或者mysql等等）insertonly3.爬虫（这里用到request的form)insertonly4.数据库工具（sqlite3或者mongodb)mongodb5.爬虫网站数据库、然后是一个可以爬取全页的抓取器（以后我会考虑使用wordpress网站模板，就是csv文件转换成json格式，然后分析可能抓取内容的一些工具）douban-en/css/createitem(请注意，当你在index.php里面获取数据库的id时，就不能抓取全页）insertonly如果需要抓取2页，可以用到filter_url，filter_urls,extract_urls这些工具。

　　insertonly如果需要抓取3页，可以用到filter_url,extract_urls,url_is_string(爬虫的url大概是这样的：。我们下一节将围绕这个网站公众号的搜索页面进行精确抓取，因为有部分内容其实是适合我们这种爬虫的。