文章在线采集器有点小贵，请看孙忠怀大神的c++爬虫指南

　　文章在线采集器有点小贵，请看孙忠怀大神的c++爬虫指南

　　文章在线采集器不过有点小贵，想要快速有效的话需要爬虫技术，根据自己需要采集某些页面有如图的小功能，

　　外包，既然有软件，外包应该很好做，还能学到东西，如果对于数据量比较大，建议自己一点点解决。可以看看500px。

　　这个问题，当时还在用python爬虫写了一个产品，对单个网站都很熟了，难点在于如何将爬虫里的数据转化成报告，包括爬虫要爬的网站，爬虫涉及的公司，岗位，工作描述，公司里面的人、每个人的工作路径，职位和工作年限，岗位是否在上升期等等，这个报告每个月要上交给相关人员做报告，必须有可以分析，且有价值。问题的关键是产品做的这个东西是通过网站ip分析的数据，但是，这个数据一方面爬虫爬取的数据不多，另一方面，网站方的数据调取方式，数据抓取速度，企业对数据的要求，人力，个人的时间等问题，导致的结果都是无法量化的，所以，最后只是做了粗略的分析，说一些鸡汤性质的东西，并不能做到量化。最后，这个产品的推广也很难。

　　看你网站是做什么用，论坛的话，没意义，因为你要多线程登录问题不大，

　　请看孙忠怀大神的c++爬虫指南！

　　爬虫这个技术挺难的，门槛低，但是要做好肯定比较难。还是现在各大招聘网站多看看吧。