可采集文章(可采集文章标题，怎么爬行效率最高，爬完后解析)

　　可采集文章(可采集文章标题，怎么爬行效率最高，爬完后解析)

　　可采集文章标题，摘要，总结，然后用大量工具去爬取，标题，摘要，总结，然后再集中爬取文章的正文，增大爬取量，

　　第一步采集的时候，要做好详细的思路设计，发现怎么爬行效率最高，爬完后解析时候要做好哪些，通过爬取去做爬取时候的网站分析第二步爬行的过程中注意转文章是比较耗时的，注意用爬虫开始过程中，爬虫单兵作战的感觉第三步是真正要去做爬取网站的事情了。

　　一个小程序怎么能达到完美的效果？爬虫很多人都在用，

　　如果你是的话，可以把爬虫用程序来做，基本上工具有python，java，php。基本这些通用的语言，可以用requests+httpclient或者beautifulsoup+lxml，

　　网站直接写程序还是挺好的吧，还有比如scrapy等框架（)，以及一些不错的模拟浏览器插件，可以找个时间做试验就可以了。实在不行就采用低效低带宽的http代理服务器，将大量数据存储在内存上或者分布式存储等方法也是可以的。

　　你发现的这些，比如xhr对话selenium等，全部都是基于文本处理方法实现的，所以一般性能不会太好。如果你想快速成长，有个好的方法推荐给你，我当时入行的时候，公司买了海德堡的计算机视觉专业本科master（也就是现在国内某电视台的大学生培训课程），一共二十五天，从零开始学，是从开始扫盲，之后深入，课程结束还有一个企业应用级项目实战项目，将近二十人团队，三十万的投入（风险投资那种），简直爽歪歪，虽然辛苦，但是收获颇丰，如果你是爱好计算机视觉的童鞋，可以多去研究，你肯定会爱上他们的。