自动采集(自动采集知乎、百度、qq、微博、豆瓣等资源的脚本)

　　自动采集(自动采集知乎、百度、qq、微博、豆瓣等资源的脚本)

　　自动采集知乎、百度、qq、微博、豆瓣等资源的脚本。绝大部分网站都有。但不支持图片识别，能识别图片只是其中的一个功能而已。接下来介绍采集qq空间文章页的脚本。第一步：采集qq空间文章页1.在浏览器中打开想要采集的网页。在右键菜单中点击“检查”2.点击第二张图的部分（但在表格左上方），在弹出的检查框中选择“ul”3.用鼠标的右键选择“替换文本”（但在表格左上方）4.因为是ul,所以是分开了的，我们还需要用鼠标把链接相交5.把第一个替换成我们需要采集的文章。6.找到我们想要采集的文章后，复制文章链接在空格中。7.最后点击浏览器右上角的开始采集按钮就可以了。

　　嗯，试了一下，没有局限性，但是存在问题：有大牛可以给讲讲专业爬虫的意义吗？初学爬虫，

　　不要搞什么脚本了，都太高深，txt都可以实现那还用你弄什么爬虫啊，别装逼了，有一个软件叫做极爬虫你可以看看它怎么弄的，一看就懂的，

　　一楼已经说得很详细了,我们也是搞论文就是用了openxlsx,可以识别一个整个的excel表格,比你们搞的那些框架还便宜,没啥大的问题.就是写起来比较麻烦.

　　爬虫从根本上是解决没办法获取数据的问题，解决这个问题的途径是网页分析，一些网站一般有通用的标准javascript标签，你可以自己搞一个网页分析脚本，提取标准javascript的标签名，比如：.js、jquery、.body。其实你自己还可以自己写网页分析脚本，分析javascript，可以针对rails或者python，会用的人不多，但是还是有人用的。