c爬虫抓取网页数据( 在学习Python之前,我们要知道,,Python的用途)

　　c爬虫抓取网页数据(

在学习Python之前,我们要知道,,Python的用途)

　　在学习 Python 之前，我们需要了解 Python 的用途以及学习它能给我们带来什么？

　　Python主要包括网络爬虫、网站开发、人工智能、自动化运维

　　这里我们主要看一下网络爬虫，什么是网络爬虫？

　　网络爬虫，又称网络蜘蛛，是指一种脚本程序，它按照一定的规则在网络上爬取想要的内容。众所周知，每个网页通常都收录其他网页的入口，网络爬虫通过一个URL依次进入其他网址，获取想要的内容。

　　爬行动物有什么用？

　　做垂直搜索引擎（google、baidu等）。

　　科学研究：在线人类行为、在线社区进化、人类动力学研究、定量社会学、复杂网络、数据挖掘等实证研究领域需要大量数据，而网络爬虫是采集相关数据的有力工具。

　　偷窥、黑客攻击、垃圾邮件……

　　爬行是搜索引擎的第一步，也是最简单的一步。

　　用什么语言编写爬虫？

　　C、C++。高效、快速，适合一般搜索引擎爬取全网。缺点，开发慢，写起来又臭又长，例如：天网搜索源码。

　　脚本语言：Perl、Python、Java、Ruby。简单易学，良好的文本处理可以方便网页内容的详细提取，但效率往往不高，适合少量网站的集中抓取

　　C＃？

　　为什么 Python 现在最流行？

　　就个人而言，我用 c# 和 java 编写了爬虫。差别不大，原则是用好正则表达式。只是平台问题。后来才知道很多爬虫都是用python写的，所以一发不可收拾。Python有很多优点，总结两个要点：

　　1）抓取网页本身的接口

　　相比其他静态编程语言，如java、c#、C++、python，爬取网页文档的界面更加简洁；与 perl、shell 等其他动态脚本语言相比，python 的 urllib2 包提供了对 web 文档更完整的访问。API。（当然*敏*感*词*也是不错的选择）

　　另外，爬取网页有时需要模拟浏览器的行为，很多网站被屏蔽用于生硬的爬虫爬取。这就是我们需要模拟用户代理的行为来构造适当的请求的地方，例如模拟用户登录，模拟会话/cookie存储和设置。python中有非常好的第三方包可以帮助你，比如Requests，mechanize

　　2）网页抓取后的处理

　　抓取的网页通常需要进行处理，比如过滤html标签、提取文本等。Python的beautifulsoap提供了简洁的文档处理功能，可以用极短的代码完成大部分文档处理。

　　其实很多语言和工具都可以做到以上功能，但是python可以做到最快最干净。人生苦短，你需要蟒蛇。