事实:文章采集规则与预期目标选择热点时段采集数据采集方式

　　事实:文章采集规则与预期目标选择热点时段采集数据采集方式

　　文章采集规则与预期目标选择热点时段采集数据采集方式网页采集、h5、app采集、微信、爬虫、seo采集、图片采集、url采集、知乎专栏等选择云采集技术技术选型云采集：requests，pyspider，requestslib，java，python，mysql，pysqlmemcached这些技术里，首先要学的是requests，因为采集微信公众号的文章需要，这个服务还有新浪微博采集文章，用requests是完全足够的。

　　所以我先使用了requests框架，做性能调试，然后再正式使用python和爬虫。curl使用方法和操作参考如下资料curl操作详解easy_imagepike格式化代码1.在导入包以后，使用curl操作可以直接读取并解析网页，不用进行格式化采集。2.直接读取网页内容->解析->打印3.使用webdriver模块，将网页进行转换4.对form表单进行提交5.对浏览器的cookie进行挖掘及重定向回到上一步。

　　用正则呀。读取网页内容时：正则匹配从属于http协议的对象。然后把一些字符写到正则表达式中。接着，这些字符继续被正则匹配，如此循环。就完成读取内容了。

　　建议试试ezhttpd

　　爬取没遇到很难的问题。首先你要明白爬取有哪些方式。我随便举几个栗子:点爬node.js提供的xmlhttprequest和chrome的spider库seleniumjswebdriver+easygraph/unturnedjs和matchimgjs先说目标的url有哪些。这个在后面还会引入。在用excel数据制作爬虫之前，先手动拿着excel单元格做一次数据录入，不同的数据格式采用不同的方式。

　　python有spider和selenium。如果你想要爬取本地网页，还有ezhttpd。网页内容，除了html，你的话可以考虑txt格式。说说采集数据格式。数据格式主要分三种:xml，json，csv格式。txt和json保存在记事本里。如果你在excel中做了数据录入，那么用requests去对网页进行解析的时候，直接上传到服务器就好。

　　csv格式就需要保存在本地，然后使用excel直接录入。我写爬虫用的是webdriver，一个不知名的库。刚开始是爬了github网站cruddesign的爬虫。起初也是和楼主一样想用python爬取，也没遇到什么问题。后来发现他们用requests做了网页获取。这个时候就明白自己之前用python爬取的只是静态页面，实际上是动态的。

　　如果你把你想要爬取的静态页面存下来，txt格式的可以考虑发布到github。我用requests写过github评论，然后可以变成db存到数据库中。使用excel进行存储时，可以考虑导出为excel格式。然后回头找你想要的数据。同时上传到github，下载完你就知道这个网站给的评论数量是多少了。然后再可以继续进行。